Краткое содержание

arXiv:2511.11141v1 Тип объявления: кросс Аннотация: Контрастное обучение языку и изображениям (Contrastive Language-Image Pre-training — CLIP) представляет собой широко используемую мультимодальную модель, согласовывающую представления текста и изображений посредством крупномасштабной тренировки. Несмотря на сильные результаты в задачах нулевого выстрела и малого числа примеров, устойчивость модели к лингвистическим вариациям, особенно к перефразированию, остаётся недостаточно изученной. Устойчивость к перефразированию критически важна для надёжного внедрения системы, особенно в социально чувствительных контекстах, где непоследовательность представлений способна усиливать демографические предубеждения. В данной работе мы представляем метрику устойчивости ранжирования перефразирований (Paraphrase Ranking Stability Metric — PRSM), новый показатель для количественной оценки чувствительности CLIP к перефразированным запросам. Используя набор данных Social Counterfactuals, предназначенный для выявления социальных и демографических предвзятостей, мы эмпирически оцениваем стабильность CLIP при перефразировании, исследуем взаимодействие между устойчивостью к перефразированию и полом, а также рассматриваем последствия для справедливости и равноправности развертывания мультимодальных систем.