Краткое содержание

arXiv:2305.17559v2 Тип объявления: замена Аннотация: Гипотеза выигрышного билета (Lottery Ticket Hypothesis — LTH) привлекла внимание к методу обрезки нейронных сетей на этапе инициализации. Мы исследуем эту проблему в линейной постановке. Показано, что задача поиска разреженной маски на этапе инициализации эквивалентна задаче скетчинга, введённой для эффективного умножения матриц. Это даёт нам инструменты для анализа проблемы гипотезы выигрышного билета и получения новых представлений о ней. В частности, используя найденную маску на этапе инициализации, мы оцениваем погрешность аппроксимации обрезанной линейной модели после завершения обучения. Теоретически обосновываем ранее полученные эмпирические данные о том, что поиск разреженных сетей может быть независимым от данных. Используя подход скетчинга, предлагаем общее улучшение существующих алгоритмов обрезки на этапе инициализации, которое демонстрируемо полезно в случае независимости от данных.