Краткое содержание

arXiv:2509.26601v2 Тип анонса: замена-перекрёстная публикация Аннотация: Обеспечение качества ответов больших языковых моделей (LLM), сопоставимого с родным языком, во многих языках представляет собой сложную задачу. Для решения этой проблемы мы представляем фреймворк MENLO, который реализует оценку качества ответов, близких к родному языку, на основе механизмов, вдохновлённых принципами аудиторного дизайна. С помощью MENLO мы создали набор данных, включающий 6423 пары предпочтений между подсказкой и ответом, отмеченных людьми, охватывающий четыре аспекта качества с высоким уровнем согласия среди оценщиков для 47 вариантов языков. Наше исследование показало, что судьи на основе нулевых выстрелов (zero-shot) от LLM значительно выигрывают от парной оценки и наших структурированных критериев разметки, однако всё ещё уступают человеческим экспертам на нашем датасете. Мы демонстрируем значительные улучшения через дообучение с использованием методов обучения с подкреплением, формирования вознаграждений и мультизадачного обучения. Дополнительно показано, что тренированные методом RL судьи могут выступать в роли генерирующих моделей вознаграждения, чтобы повысить многоязычную компетентность LLM, хотя расхождения остаются заметными.