Обнаружение внераспределённых данных с использованием больших языковых моделей и супервизии положительных и отрицательных подсказок
Краткое содержание
arXiv:2511.10923v1 Тип объявления: новый Аннотация: Обнаружение внераспределённых (Out-of-Distribution — OOD) объектов посвящено выделению границ классификации между входящими в распределение (In-Distribution — ID) и внераспределёнными изображениями. Последние достижения в области мультимодальных моделей видения и языка продемонстрировали выдающиеся результаты обнаружения OOD путем интеграции визуальной и текстовой модальностей. В данном контексте используются отрицательные подсказки (negative prompts), чтобы подчеркнуть несходство признаков изображений и содержания подсказок. Однако такие подсказки часто включают широкий спектр признаков, не относящихся к распределённым данным, что может привести к неоптимальным результатам вследствие захвата перекрывающейся или вводящей в заблуждение информации. Для решения этой проблемы мы предлагаем метод Положительного и Отрицательного Подсказочного Надзора (Positive and Negative Prompt Supervision), который стимулирует отрицательные подсказки захватывать межклассовые признаки и передает эти семантические знания в визуальную модальность для повышения эффективности обнаружения OOD. Наш подход начинается с инициализации класс-специфичных положительных и отрицательных подсказок большими языковыми моделями (Large Language Models — LLMs). Эти пр...
Полный текст статьи пока не загружен.