Краткое содержание

arXiv:2511.05184v1 Тип объявления: новый Аннотация: Подход цепочки рассуждений (Chain-of-Thought — CoT) является широко используемым методом повышения способности больших языковых моделей (LLM) к рассуждению. В последнее время CoT применяется в методе дистилляции знаний (Knowledge Distillation — KD), чтобы передать способность рассуждать от большой языковой модели к меньшей. Данная работа исследует роль подхода CoT в передаче способностей к рассуждениям от крупных LLM к меньшим посредством белого ящика KD, оценивая эффективность улучшения производительности дистиллированных моделей для различных задач естественного языкового понимания и рассуждения. Мы проводим эксперименты по белому ящику KD, используя большие языковые модели семейств Qwen и Llama2, применяя данные CoT из набора данных CoT-Collection. Затем полученные дистиллированные модели тестируются на задаче естественного языкового рассуждения и понимания из бенчмарка BIG-Bench-Hard (BBH), который представляет собой сложный вызов для небольших LLM. Экспериментальные результаты демонстрируют влияние CoT на повышение эффективности метода дистилляции белого ящика, показывая...