Краткое содержание

arXiv:2412.09498v3 Тип объявления: замена-перекрёстная публикация Аннотация: Градиентный спуск является одним из наиболее широко используемых итеративных алгоритмов в современном статистическом обучении. Однако его точные алгоритмические динамики в многомерных условиях остаются лишь частично изученными, что ограничивает более широкое применение этого метода для задач статистического вывода. В данной статье предлагается точное неасимптотическое совместное распределение итераций градиентного спуска и их несмещённых оценок в широком классе задач минимизации эмпирического риска в так называемом режиме среднего поля, где размер выборки пропорционален размерности сигнала. Наша теория неасимптотической эволюции состояния применима как к общим невыпуклым функциям потерь, так и к негауссовым данным, раскрывая центральную роль двух матриц коррекции Онзагера, которые точно характеризуют нетривиальную зависимость между всеми итерациями градиентного спуска в режиме среднего поля. Используя совместную характеристику эволюции состояний, мы