Краткое содержание

arXiv:2508.14004v2 Тип объявления: замена Аннотация: Квантованные нейронные сети можно рассматривать как цепочку шумных каналов, где округление в каждом слое снижает пропускную способность при уменьшении битовой ширины; контрольная точка с плавающей запятой устанавливает максимальную скорость входящего потока. Мы отслеживаем динамику емкости при постепенном снижении средней битовой ширины и выявляем возникающие узкие места квантования, рассматривая тонкую настройку как гладкую задачу оптимизации с ограничениями. Наш подход основан на полностью дифференцируемом оценщике прямого распространения (Straight-Through Estimator — STE), который имеет настраиваемые параметры битовой глубины, масштаба шума и границ ограничения, а целевую битовую глубину задаёт внешний штрафной метод; слабое сглаживание метрик (с помощью дистилляции) стабилизирует обучение. Несмотря на свою простоту, предложенный метод достигает конкурентоспособной точности вплоть до экстремального режима W1A1, сохраняя эффективность метода STE.