Краткое содержание

arXiv:2512.17194v1 Announce Type: new Аннотация: Мультимодальное Retrieval-Augmented Generation (MMRAG) позволяет осуществлять высокодостоверную генерацию путем интеграции внешних мультимодальных знаний, демонстрируя впечатляющую производительность в сложных мультимодальных сценариях. Однако существующие методы MMRAG не проясняют логику рассуждений, лежащую в основе поиска и генерации ответа, что ограничивает объяснимость результатов. Для устранения этого пробела мы предлагаем внедрить обучение с подкреплением в мультимодальное Retrieval-Augmented Generation, повышая способности мультимодальных больших языковых моделей к рассуждению посредством двухэтапной рамочной структуры обучения с подкреплением с тонкой настройкой для достижения объяснимого мультимодального Retrieval-Augmented Generation. В частности, на первом этапе используется обучение с подкреплением на основе правил для выполнения грубой попиковой ранжировки мультимодальных документов, что позволяет эффективно отфильтровать заведомо нерелевантные. На втором этапе обучение с подкреплением на основе рассуждений