Краткое содержание

arXiv:2503.04789v3 Тип объявления: замена Аннотация: Генерация с поддержкой извлечения (Retrieval-Augmented Generation — RAG) улучшает большие языковые модели (LLM), дополняя их внешними знаниями, однако процесс генерации остается уязвимым к шуму, вызванному извлечением, и неопределенности размещения релевантных фрагментов, часто приводящей к возникновению иллюзий. Мы представляем Ext2Gen — фреймворк типа «извлечение-потом-генерация», который усиливает LLM путем совместного выбора доказательств и генерации ответов, динамически выявляя контент, соответствующий запросу, и подавляя шумы, устраняя необходимость в любом независимом предварительном компрессирующем модуле. Оптимизированный через согласование предпочтений с хорошо подобранной парной обратной связью, Ext2Gen генерирует точные и достоверные ответы даже при наличии шума или неточного поиска. Эксперименты показывают, что этот подход существенно повышает устойчивость базовой системы генерации и обеспечивает значительно больший прирост производительности по сравнению с методами, основанными на независимых моделях компрессии, такими как Recomp, CompAct, EXIT. Он также выигрывает от улучшенных методов поиска, таких как уточненный запрос...