← Вернуться к списку

Адаптивное Выбор Размера Шага для Стохастической Градиентной Динамики Ланжевена в Байесовских Нейронных Сетях

Краткое содержание

arXiv:2511.11666v1 Тип: новый Аннотация: Байесовские нейронные сети (БНС) требуют масштабируемых алгоритмов выборки для аппроксимации апостериорных распределений параметров. Существующие стохастические методы Монте-Карло с марковскими цепями на основе градиента (SGMCMC) крайне чувствительны к выбору размера шага, а их адаптивные варианты, такие как pSGLD, как правило, не позволяют получить корректную инвариантную меру без добавления затратного по вычислениям члена с дивергенцией. В данной работе мы развиваем недавно предложенный фреймворк `SamAdams' для адаптации временного шага (Leimkuhler, Lohmann, and Whalley 2025), представляя адаптивную схему: SA-SGLD, которая использует перенормировку времени для регулировки размера шага в соответствии с отслеживаемой величиной (как правило, локальной нормой градиента). SA-SGLD может автоматически уменьшать шаги в областях с высокой кривизной и увеличивать их в более пологих областях, улучшая как стабильность, так и перемешивание, без внесения смещения. Мы показываем, что наш метод позволяет достичь более точного апостериорного сэмплирования по сравнению с SGLD на высоко-

Полный текст статьи пока не загружен.