← Вернуться к списку

MetaRAG: Метаморфное тестирование для выявления иллюзий (галлюцинаций) в системах RAG

Краткое содержание

arXiv:2509.09360v2 Тип анонса: замена Аннотация: Большие языковые модели (LLM) всё чаще применяются в корпоративных приложениях, однако их надёжность ограничена наличием иллюзий — уверенно предоставляемых, но фактически неверных сведений. Современные методы обнаружения, такие как SelfCheckGPT и MetaQA, главным образом ориентированы на автономные LLM и не решают специфические проблемы систем с расширенной генерацией на основе поиска (RAG), где ответы должны согласовываться с извлечёнными доказательствами. Мы предлагаем MetaRAG — метаморфный тестовый фреймворк для выявления иллюзий в системах RAG. MetaRAG функционирует в режиме реального времени, без учителя и чёрного ящика, не требует ни эталонных справочных материалов, ни доступа к внутренним компонентам моделей, что делает его подходящим для проприетарных и высокорисковых областей. Фреймворк состоит из четырёх этапов: (1) разбиение ответов на атомарные факты, (2) создание контролируемых мутаций каждого факта путём замены синонимами и антонимами,

Полный текст статьи пока не загружен.