Краткое содержание

CNN являются известным примером иерархической обработки. Низкоуровневые признаки, такие как границы, обнаруживаются в более ранних слоях, в то время как высокоуровневые признаки, такие как наличие лица, обнаруживаются глубже в сети. Все архитектуры глубокого обучения имеют общую черту (отрывок из книги «Глубокое обучение»): Современный термин «глубокое обучение» выходит за рамки нейробиологической перспективы текущего поколения моделей машинного обучения. Он опирается на более общий принцип обучения нескольким уровням композиции, который может применяться в рамках машинного обучения, не обязательно вдохновленных биологическими нейронными сетями. Мой вопрос следующий: Является ли обучение нескольким уровням композиции эквивалентным иерархической обработке / иерархическому извлечению признаков? Если да, то какие иерархии извлекаются в областях, отличных от компьютерного зрения? Например, какие признаки извлекаются иерархически из архитектуры на основе трансформера или графовой нейронной сети?