Краткое содержание

DeepSeek-R1-Distill-Qwen-7B — это плотная языковая модель с семью миллиардами параметров, дистиллированная из модели DeepSeek-R1 с использованием данных, полученных методом усиленного обучения от больших моделей DeepSeek. Процесс дистилляции переносит продвинутые способности рассуждений, математики и программирования в меньшую и более эффективную архитектуру модели, основанной на Qwen2.5-Math-7B. Данная модель демонстрирует высокую производительность на математических эталонных тестах (прохождение первого уровня на 92,8 % в MATH-500), задачах кодирования (рейтинг Codeforces 1189) и общем рассуждении (проход на уровне 49,1 % в GPQA Diamond), достигая сопоставимой точности относительно крупных моделей при сохранении низких затрат на вычисления.