Краткое содержание

arXiv:2511.12639v1 Тип объявления: новый Аннотация: Модели видения-языка (VLM) продемонстрировали большой потенциал в переносе признаков и обобщении результатов на широкий спектр медицинских прикладных задач. Тем не менее, тонкая настройка этих моделей требует значительных ресурсов ввиду большого числа параметров. Подстройка подсказок (prompt tuning) стала перспективным решением проблемы снижения затрат памяти и сокращения времени обучения при сохранении конкурентоспособной производительности. Однако существующие методы подстройки подсказок неспособны чётко различать различные виды медицинских понятий, упуская специфические признаки заболеваний, характерные для различных видов медицинской визуализации в задачах классификации медицинских изображений. Мы обнаружили, что большие языковые модели (LLM), обученные на обширных корпусах текста, особенно хорошо справляются с предоставлением специализированного медицинского знания. Исходя из этого, мы предлагаем интегрировать LLM в процесс подстройки подсказок. В частности, мы представляем метод CILMP — Conditional...