Думай последовательно, рассуждай эффективно: калибровка на основе энергии для скрытого цепочечного рассуждения
Краткое содержание
arXiv:2511.07124v1 Тип объявления: кросс Аннотация: Большие языковые модели (LLM) продемонстрировали сильные способности к рассуждениям через метод подсказок типа *цепочка мыслей* (CoT), который позволяет проводить пошаговое промежуточное рассуждение. Однако явные методы CoT полагаются на дискретный процесс рассуждений на уровне токенов, подверженный распространению ошибок и ограниченный выразительностью словаря, часто приводящий к жёстким и непоследовательным траекториям рассуждений. Недавние исследования изучали неявные или непрерывные формы рассуждений в латентных пространствах, позволяя моделям осуществлять внутреннее рассуждение перед формированием явного вывода. Хотя такие подходы смягчают некоторые ограничения дискретной цепочки мыслей, они обычно лишены явных механизмов обеспечения согласованности между этапами рассуждений, что ведёт к расхождению путей рассуждений и нестабильным результатам. Для решения этой проблемы мы предлагаем EBM-CoT — калибровочную структуру цепочек мыслей на основе энергетического подхода, которая уточняет представления скрытых мыслей посредством энергетической модели (
Полный текст статьи пока не загружен.