Краткое содержание

arXiv:2311.02960v4 Тип анонса: замена Аннотация: За последнее десятилетие глубокое обучение зарекомендовало себя как высокоэффективный инструмент для извлечения значимых признаков непосредственно из необработанных данных. Однако остается открытым вопрос о том, каким образом глубокие сети осуществляют иерархическое обучение признакам через слои. В данной работе мы пытаемся раскрыть эту тайну путем исследования структуры промежуточных признаков. Основываясь на наших эмпирических наблюдениях, согласно которым линейные слои имитируют роль глубоких слоев в нелинейных сетях при обучении признакам, мы изучаем, как глубокие линейные сети преобразуют входные данные в выходные, исследуя выход каждого слоя после обучения в контексте многоклассовых классификационных задач. Для достижения этой цели мы сначала определяем метрики измерения внутриклассовой компрессии и межклассовой дискриминации промежуточных признаков соответственно. Путём теоретического анализа этих двух метрик мы показываем, что эволюция признаков подчиняется простому и количественно определённому паттерну...