Краткое содержание

arXiv:2505.14733v2 Тип объявления: замена Аннотация: Масштабирование больших языковых моделей (LLM) обеспечило значительные достижения, однако сталкивается с убывающей отдачей и возрастающими энергетическими потребностями. В данной работе исследуется, каким образом вычислительные ресурсы во время тестирования (TTC — Test-Time Compute) могут служить энергоэффективной альтернативой традиционным стратегиям масштабирования путем выделения дополнительных вычислительных ресурсов именно на этапе вывода, а не на этапе обучения модели. Конкретно мы изучаем, позволяет ли использование TTC достичь лучших компромиссов между точностью и энергопотреблением по сравнению с простым увеличением размера модели. Наш эмпирический анализ показывает, что применение TTC превосходит традиционное масштабирование моделей по соотношению точность/энергопотребление, особенно заметный выигрыш наблюдается в задачах, требующих сложного рассуждения, а не простого воспроизведения фактов. Более того, нами выявлена критическая взаимосвязь между производительностью TTC и длиной выходной последовательности, демонстрирующая, что стратегическое перераспределение вычислительных ресурсов на этапе вывода в зависимости от сложности запроса способно существенно повысить эффективность. Наши исследования...