Робастная двунаправленная ассоциативная память с регуляризацией на основе алгоритма вращения подпространств
Краткое содержание
arXiv:2511.11902v1 Тип: новая работа Аннотация: Двунаправленная ассоциативная память (BAM), обученная с помощью двунаправленного обратного распространения (B-BP), часто демонстрирует низкую устойчивость и высокую чувствительность к шуму и состязательным атакам. Для решения этих проблем мы предлагаем новый бесградиентный алгоритм обучения — алгоритм двунаправленного вращения подпространств (B-SRA), который значительно повышает устойчивость и улучшает сходимость BAM. В ходе всесторонних экспериментов мы выявили два ключевых принципа — ортогональные весовые матрицы (OWM) и выравнивание градиентных паттернов (GPA) — как центральные для повышения устойчивости BAM. Мотивированные этими результатами, мы вводим новые стратегии регуляризации в B-BP, что приводит к моделям со значительно улучшенной устойчивостью к искажениям и состязательным возмущениям. Мы также проводим абляционное исследование различных стратегий обучения для определения наиболее устойчивой конфигурации и оцениваем производительность BAM в различных сценариях атак и запоминания.
Полный текст статьи пока не загружен.