Краткое содержание

Я увидел этот вопрос и сталкиваюсь с той же проблемой: ядра в обученной CNN выглядят случайным образом. Я использую PyTorch для обучения CNN, и мой код основан на примерах, которые обучают символы MNIST: около 50 сверточных слоев размером 20x20 ядер, которые подаются в два полносвязных слоя, с использованием оптимизатора SGD и функции потерь MSE или кросс-энтропии. Это всего лишь учебный эксперимент (я изучаю PyTorch около 3 месяцев). Я заинтересован в изучении ядер, когда достигается достаточно низкая потеря и высокая точность. Я обучаю сеть на 100 изображениях размером 100x100 в оттенках серого, содержащих круглые или квадратные импульсы, подобные этим, или Выход представляет собой слой из 3 нейронов, который может быть 000=круглым, 001=квадратным и т.д. Во всех парах данных 1 отображается на 0.8, а 0 – на 0.1. По мере обучения я надеялся наблюдать за эволюцией ядер от случайных форм к формам с углами, линиями и наклонами; другими словами, общим признакам моих данных. Вот что я вижу: Если я выбираю скорость обучения, которая дает конечные числовые значения потерь (lr=0.01, e