Краткое содержание

arXiv:2511.05000v1 Тип объявления: кросс Аннотация: По мере роста интереса к финансовым приложениям больших языковых моделей (LLM), точное извлечение информации (Information Retrieval — IR) сохраняет ключевое значение для обеспечения надёжности сервисов ИИ. Однако существующие бенчмарки не способны охватывать комплексные и специфичные информационные потребности реальных банковских сценариев. Создание предметно-ориентированных эталонных тестов IR является дорогостоящим процессом, ограниченным юридическими запретами на использование реальных клиентских данных. Для решения этой проблемы мы предлагаем систематический подход к созданию предметно-специфичных эталонов IR через генерацию запросов на основе LLM. В качестве конкретного воплощения данного подхода наша методика объединяет одно-документную и много-документную генерацию запросов с улучшенным методом оценки релевантности ответов, дополнённым рассуждениями, обеспечивая лучшее соответствие человеческим оценкам по сравнению с предыдущими методами. Используя этот метод, мы создали набор данных KoBankIR, включающий 815 запросов, полученных из 204 официальных банковских документов. Наши эксперименты показывают, что...