Краткое содержание

Я увидел этот вопрос и сталкиваюсь с той же проблемой: ядра в обученной CNN выглядят случайным образом. Я использую PyTorch для обучения CNN, и мой код основан на примерах, которые обучают символы MNIST: около 50 сверточных слоев размером 20x20 ядер, которые подаются в два полносвязных слоя, с использованием оптимизатора SGD и функции потерь MSE или кросс-энтропии. Это всего лишь учебный эксперимент (я изучаю PyTorch около 3 месяцев). Я заинтересован в изучении ядер, когда достигается достаточно низкая потеря и высокая точность. Я обучаю сеть на 100 изображениях размером 100x100 в оттенках серого, содержащих круглые или квадратные импульсы, такие как эти: Или выходной слой представляет собой слой из 3 нейронов, который может быть равен 000=круг, 001=квадрат и т.д. Во всех парах данных 1 отображается на 0,8, а 0 – на 0,1. По мере обучения я надеялся наблюдать за развитием ядер от случайных форм к формам с углами, линиями и наклонами; другими словами, общим характеристикам моих данных. Вот что я вижу: Если я выбираю скорость обучения, которая дает конечные числовые значения потерь (lr=0,01, e