Краткое содержание

arXiv:2511.14329v1 Тип объявления: новый Аннотация: Увеличение глубины сети является фундаментальной целью в проектировании нейронных архитектур, поскольку теория предполагает экспоненциальный рост возможностей более глубоких моделей. Благодаря остаточным связям современные нейросети могут масштабироваться до более чем сотни слоев и добиваются широкого успеха. Однако по мере дальнейшего углубления сетей текущие архитектуры часто не способны реализовать свои теоретические преимущества, что требует разработки более продвинутых конструкций для раскрытия потенциала еще более глубоких сетей. В данной статье мы выделяем два ключевых препятствия, препятствующих увеличению глубины остаточных моделей: деградацию обходных путей и ограниченную ширину. Деградация обходных путей препятствует обучению глубоких слоев, тогда как присущий компромисс между глубиной и шириной накладывает ограничение на ширину. Для устранения этих проблем мы предлагаем обобщённую архитектуру с остаточными связями под названием "Step by Step Network" (StepsNet), которая призвана сократить разрыв между теоретическим потенциалом и практической производительностью глубоких нейронных сетей.