Как я могу постепенно обучать модель YOLO без катастрофического забывания? Задать вопрос

Задано 6 лет, 6 месяцев назад Изменено сегодня Просмотрено 2 тыс. раз

Задано 6 лет, 6 месяцев назад

5 $\begingroup$ У меня успешно обучена модель YOLO для распознавания k классов. Теперь я хочу обучать, добавляя k+1 класс к предварительно обученным весам (k классам), не забывая предыдущие k классы. Идеально, если бы я мог продолжать добавлять классы и тренировать их на предыдущих весах, то есть, тренировать только новые классы. Если мне приходится обучать все классы (k+1) каждый раз, когда добавляется новый класс, это было бы слишком трудоемко, поскольку обучение k классам потребует $k*20000$ итераций, в отличие от $20000$ итераций на новый класс, если я могу добавлять классы постепенно. Набор данных сбалансирован (5000 изображений на класс для обучения). Я был бы признателен, если бы вы могли предложить некоторые методы или техники для выполнения этого непрерывного обучения для YOLO. сверточные нейронные сети обучение yolo постепенное обучение катастрофическое забывание Поделиться Улучшить этот вопрос Подписаться отредактировано 29 января 2021 г. в 0:05 nbro 43,2 тыс. 14 золотых значков 121 серебряный значок 222 бронзовые значки задано 16 июля 2019 г. в 13:30 Troy 93 4 4 бронзовые значки $\endgroup$ 2 $\begingroup$ Общее правило эмпирическое правило для предотвращения забывания - использовать низкую скорость обучения $\endgroup$ 0x5050 – 0x5050 16 июля 2019 г. в 17:19:03 +00:00 Комментировано 16 июля 2019 г. в 17:19 $\begingroup$ @PradipPramanick , но более низкая скорость обучения может повлиять на точность прогнозирования новых классов, правильно? $\endgroup$ Troy – Troy 18 июля 2019 г. в 16:19:05 +00:00 Комментировано 18 июля 2019 г. в 16:19 Добавить комментарий | 1 Ответ 1 Отсортировано по: Сбросить до значения по умолчанию Наивысший балл (по умолчанию) Измененная дата (от новых к старым) Созданная дата (от старых к новым) 0 $\begingroup$ Существует что-то, называемое Эластичной консолидацией весов для предотвращения забывания предыдущих задач нейронными сетями при обучении на новых задачах. Это может быть полезно и в вашем случае. Основная идея состоит в том, чтобы количественно оценить важность параметров для задачи $t$ и наказывать модель пропорционально, когда она изменяет свои параметры при обучении для изучения задачи $t+1$. Как вы видите, это побуждает модель изменять параметры, которые менее важны для задачи $t$, что предотвращает забывание модели. Поделиться Улучшить этот ответ Подписаться отвечено 23 апреля 2020 г. в 23:09 SpiderRico 1 050 10 10 серебряных значков 18 18 бронзовых значков $\endgroup$ Добавить комментарий | Вам необходимо войти, чтобы ответить на этот вопрос. Начните задавать вопросы, чтобы получить ответы Найдите ответ на свой вопрос, задавая его Задать вопрос Исследуйте связанные вопросы сверточные нейронные сети обучение yolo постепенное обучение катастрофическое забывание Посмотрите похожие вопросы с этими тегами.