Краткое содержание

arXiv:2511.14258v1 Тип объявления: новое Аннотация: Большие модели рассуждений продемонстрировали выдающиеся результаты на сложных задачах логического вывода, однако чрезмерная длина их цепочек рассуждений остается серьезным практическим узким местом из-за высокой вычислительной стоимости и плохой применимости в реальных условиях. Существующие методы сжатия достигли частичного успеха, но упустили из виду важный феномен процесса обучения — конфликт энтропии. Во время обучения с целью сжатия уменьшается энтропия, что приводит к сокращению длины рассуждения при ограниченном пространстве для исследования, тогда как цели, ориентированные на точность, увеличивают энтропию, удлиняя цепи рассуждений. Это может привести модель к застреванию в локальной дилемме. Наш анализ дополнительно выявляет источник конфликта энтропийности: многие токены с высокой энтропией являются логическими связками, которые получают большие градиенты и поощряются под влиянием целевой функции производительности, в то же время цель сжатия одновременно штрафует эти потенциально избыточные связки. Такое противоположное давление создает...