Краткое содержание

arXiv:2505.15249v2 Тип объявления: замена-перекрёстная Аннотация: В последнее время большие мультимодальные модели зрения-языка (LVLM) стали предпочтительными инструментами для оценки соответствия текста изображению, однако их устойчивость относительно визуальной модальности остаётся недостаточно изученной. Данная работа является первым исследованием, направленным на решение ключевого исследовательского вопроса: способны ли систематические враждебные манипуляции изображением обмануть судейские системы LVLM, заставляя их выставлять неоправданно завышенные баллы? Мы определяем потенциальную предвзятость изображений в контексте оценки преобразования текста в изображение (T2I), и рассматриваем, каким образом эта предвзятость влияет на оценку судьями LVLM. Более того, мы представляем новый, детально проработанный многоотраслевой метаметричный бенчмарк под названием FRAME, специально разработанный таким образом, чтобы демонстрировать разнообразные распределения оценок. Путём введения определённых нами видов предвзятости в этот бенчмарк мы показываем, что все протестированные судьи LVLM демонстрируют уязвимость во всех областях, последовательно завышая оценки для обработанных изображений. Дальнейший анализ показывает, что объединение нескольких типов предвзятостей усиливает их эффект.