Краткое содержание

arXiv:2206.13646v2 Тип объявления: замена Аннотация: Это элементарный факт научной литературы, что липшицева норма функции реализации полносвязной искусственной нейронной сети прямого распространения с выпрямителем линейных единиц (ReLU) может быть ограничена сверху суммой степеней нормы вектора параметров ИНС с точностью до мультипликативной константы. Грубо говоря, в данной работе мы показываем, что обратное неравенство также верно для неглубоких сетей. Более формально, мы доказываем, что норма класса эквивалентности векторов параметров ИНС с одинаковой функцией реализации ограничена сверху суммой степеней липшицевой нормы функции реализации ИНС (с показателями степени $1/2$ и $1$) с точностью до мультипликативной константы. Кроме того, мы доказываем, что данное верхнее ограничение справедливо лишь при использовании липшицевой нормы, однако оно неверно ни для норм Гёльдера, ни для норм Соболева-Слободецкого. Дополнительно мы доказываем, что это верхнее ограничение выполняется исключительно для...