← Вернуться к списку

Файн-тюнинг модели MedGemma для клинического аннотирования с целью улучшения мультимодального подхода RAG (Retrieval-Augmented Generation — методология генерации текста с использованием поиска) применительно к клиническим практическим руководствам Малайзии.

Краткое содержание

arXiv:2510.15418v2 Тип объявления: замена-перекрёстная Аннотация: Системы расширенного формирования (Retrieval-Augmented Generation), основанные на извлечении данных, играют ключевую роль в предоставлении фактической поддержки рекомендаций клинической практики Малайзии. Однако эффективность таких систем ограничена при работе с изображениями, поскольку общие модели видения-языка часто генерируют подписи, лишённые необходимой специфичности и достоверности фактов. В данной работе предлагается и проверяется подход к специализации модели MedGemma для создания высококачественных подписей, служащих улучшенными запросами. Для преодоления дефицита данных мы используем метод дистилляции знаний для построения синтетического набора данных в областях дерматологии, офтальмоскопии глазного дна и рентгенографии грудной клетки, после чего проводим тонкую настройку MedGemma методом параметрически эффективного метода QLoRA. Эффективность была строго оценена через двойную систему оценки, включающую измерение точности классификации и, посредством нового применения фреймворка RAGAS, оценку верности, релевантности и корректности подписей. Настроенная модель продемонстрировала значительные улучшения в классе

Полный текст статьи пока не загружен.