← Вернуться к списку

Стохастическое распространение равновесия (StochEP) для импульсных сходящихся рекуррентных нейронных сетей

Краткое содержание

arXiv:2511.11320v1 Тип объявления: кросс Аннотация: Спайковые нейронные сети (SNN) обещают энергоэффективный, разреженный и биологически обоснованный подход к вычислениям. Обучение их методом обратного распространения во времени (BPTT) и суррогатных градиентов обеспечивает высокую производительность, однако остается биологически неправдоподобным. Равновесное распространение (Equilibrium Propagation — EP) предлагает более локальную и биологически обоснованную альтернативу. Однако существующие подходы EP, основанные главным образом на детерминированных нейронах, либо требуют сложных механизмов для обработки разрывов в динамике спайков, либо не масштабируются дальше простых визуальных задач. Вдохновленные стохастической природой биологического механизма генерации спайков и недавними тенденциями аппаратной реализации, мы предлагаем стохастический подход EP, который интегрирует вероятностные спайки нейронов в парадигму равновесного распространения. Эта формулировка сглаживает оптимизационный ландшафт, стабилизирует обучение и позволяет масштабируемое обучение глубоких свёрточных рекуррентных нейронных сетей (CRNN), использующих механизм спайковых сигналов. Мы предоставляем теоретические гарантии

Полный текст статьи пока не загружен.