Краткое содержание

arXiv:2511.11574v1 Тип объявления: новый Аннотация: Большие языковые модели (LLM) демонстрируют высокую точность в задачах классификации, однако значительные вычислительные и финансовые затраты препятствуют их широкомасштабному развертыванию в динамичных средах. Дистилляция знаний (Knowledge Distillation, KD), при которой большая языковая модель-«учитель» обучает меньшую и более эффективную модель-«ученик», предлагает перспективное решение этой проблемы. Однако сам процесс дистилляции часто остается затратным для больших наборов данных, поскольку требует от учителя разметки огромного количества образцов, что сопряжено со значительным потреблением токенов. Чтобы смягчить эту проблему, в данной работе мы исследуем активное обучение (Active Learning, AL) как способ создания эффективных моделей-учеников при существенно меньших затратах с сохранением производительности LLM. В частности, мы представляем M-RARU (Multi-class Randomized Accept/Reject Uncertainty Sampling) — новый алгоритм активного обучения, который значительно снижает затраты на обучение. M-RARU использует инновационную стратегию, сочетающую неопределенность с рандомизир