Краткое содержание

arXiv:2511.12220v1 Тип: кросс Аннотация: Визуально-языковые модели (VLM) часто порождают галлюцинации в виде описаний объектов, атрибутов или отношений, отсутствующих на изображении, из-за чрезмерной зависимости от языковых предикторов и неточного кросс-модального связывания. Мы представляем Spectral Representation Filtering (SRF) — облегчённый метод, не требующий дообучения, для подавления таких галлюцинаций путём анализа и коррекции ковариационной структуры репрезентаций модели. SRF выявляет низкоранговые режимы галлюцинаций посредством собственного разложения ковариации разностей между признаками, собранными для достоверных и галлюцинаторных подписей, раскрывая структурированные смещения в пространстве признаков. Мягкий спектральный фильтр затем ослабляет эти режимы в весах проекции прямого распространения более глубоких слоёв vLLM, выравнивая дисперсию признаков при сохранении семантической достоверности. В отличие от подходов, основанных на декодировании или переобучении, SRF работает полностью постфактум, не требуя