Краткое содержание

arXiv:2410.04715v3 Тип объявления: замена-перекрёстная публикация Аннотация: Высококачественные тренировочные данные критически важны для производительности больших языковых моделей (LLM). В недавних исследованиях изучалась возможность использования LLM для оценки и отбора данных на основе небольшого набора критериев, разработанных человеком (правил), однако такие подходы часто чрезмерно полагаются на эвристику, лишены обоснованных метрик для оценки правил и плохо обобщаются на новые задачи. Мы предлагаем новый основанный на правилах подход к отбору данных, который вводит метрику, основанную на ортогональности векторов оценок правил, для оценки и выбора дополняющих друг друга правил. Наш автоматизированный конвейер сначала применяет LLM для генерации разнообразных правил, охватывающих различные аспекты качества данных, затем оценивает выборки согласно этим правилам и применяет детерминантный точечный процесс (DPP) для выбора наиболее независимых правил. Затем эти правила используются для оценки всего датасета, после чего отбираются образцы с высокими показателями для выполнения последующих задач, таких как дообучение LLM. Мы проверяем нашу методику в двух экспериментальных установках