Краткое содержание

arXiv:2511.14501v1 Тип объявления: кросс Аннотация: Сжатие коммуникации необходимо для масштабируемой распределенной тренировки современных моделей машинного обучения, но оно часто ухудшает сходимость из-за вносимого шума. Механизмы обратной связи по ошибке (Error Feedback — EF) широко используются для смягчения этой проблемы алгоритмов сжатия в распределенных системах. Несмотря на их популярность и эффективность при обучении, существующие распределенные алгоритмы EF обычно требуют предварительного знания параметров задачи (например, констант гладкости), чтобы точно настроить шаги итераций. Это ограничивает их практическое применение, особенно при крупномасштабной тренировке нейронных сетей. В данной работе мы изучаем нормированные алгоритмы с обратной связью по ошибке, которые объединяют EF с нормализованными обновлениями, различными вариантами импульса и не зависящими от параметров, изменяющимися во времени шагами, тем самым устраняя необходимость настройки, зависящей от конкретной задачи. Мы анализируем сходимость этих алгоритмов для минимизации гладких функций и устанавливаем независимые от параметров границы сложности, близкие к...