Краткое содержание

arXiv:2511.04696v1 Тип объявления: кросс Аннотация: Мы представляем EncouRAGe — универсальный фреймворк на Python, предназначенный для упрощения разработки и оценки систем расширенного порождения текста (Retrieval-Augmented Generation, RAG), использующих большие языковые модели (Large Language Models, LLMs) и эмбеддинг-модели. EncouRAGe состоит из пяти модульных и расширяемых компонентов: спецификация типов (Type Manifest), фабрика RAG (RAG Factory), вывод (Inference), векторное хранилище (Vector Store) и метрики (Metrics). Это позволяет гибко экспериментировать и развивать системы. Фреймворк акцентирует внимание на научной воспроизводимости результатов, разнообразии оценочных показателей и локальном развертывании, предоставляя исследователям возможность эффективно оценивать данные внутри рабочих процессов RAG. В данной статье мы подробно рассматриваем реализацию и проводим обширную оценку на нескольких эталонных наборах данных, включая 25 тысяч пар вопрос-ответ и свыше 51 тысячи документов. Наши результаты показывают, что производительность RAG всё ещё уступает результатам идеального контекста (Oracle Context), тогда как гибридный метод BM25 стабильно демонстрирует наилучшие показатели во всех четырёх датасетах. Далее мы исследуем влияние переранжирования, обс...