Краткое содержание

arXiv:2503.00240v2 Тип объявления: замена-перекрёстная публикация Аннотация: В данной статье обсуждается параметризация весов двух стандартных архитектур сетей с коэффициентом Липшица равным единице — "Почти ортогональные слои" (Almost-Orthogonal-Layers, AOL) и "Слои на основе полуопределённого программирования для ограничения по Липшицу" (SDP-based Lipschitz Layers, SLL). Рассматривается их влияние на инициализацию глубоких нейронных сетей с ограничением по Липшицу равной единице, а также анализируются проблемы, связанные с этой инициализацией. Эти сети в основном используются в задачах классификаций с гарантированной устойчивостью к атакам путём ограничения влияния возмущений на результат классификации. Точные значения и верхние границы параметризованной дисперсии весов были вычислены при условии стандартной нормальной распределения инициализации весов; кроме того, была рассчитана верхняя граница, предполагающая использование обобщенного нормального распределения, что расширяет доказательство для равномерного, лапласовского и нормального распределений инициализаций весов. Показано, что дисперсия весов не оказывает никакого влияния на распределение выходной дисперсии, и только размерность...