BSO: Алгоритм бинарной спайковой онлайн-оптимизации
Краткое содержание
arXiv:2511.12502v1 Тип объявления: новый Аннотация: Бинарные спайковые нейронные сети (BSNN) обладают значительными преимуществами в эффективности для вычислений в условиях ограниченных ресурсов. Однако их алгоритмы обучения часто требуют существенных затрат памяти из-за хранения латентных весов и требований временной обработки. Для решения этой проблемы мы предлагаем алгоритм оптимизации Binary Spiking Online (BSO) — новый алгоритм онлайн-обучения, который значительно сокращает потребление памяти. BSO напрямую обновляет веса с помощью флип-сигналов в рамках онлайн-обучения. Эти сигналы активируются, когда произведение градиентного импульса и весов превышает пороговое значение, что устраняет необходимость в латентных весах во время обучения. Для повышения производительности мы предлагаем T-BSO, временно-ориентированный вариант, который использует присущую BSNN временную динамику, захватывая информацию о градиенте на временных шагах для адаптивной регулировки порога. Теоретический анализ устанавливает гарантии сходимости как для BSO, так и для T-BSO.
Полный текст статьи пока не загружен.