Is нормализация данных способом повышения обобщающей способности? Задать вопрос

Задано 6 лет, 5 месяцев назад Изменено сегодня Просмотрено 587 раз

Задано 6 лет, 5 месяцев назад

4 $\begingroup$ Существует множество известных способов преодолеть переобучение или улучшить обобщающую способность модели на невидимых данных. Хочу спросить, является ли нормализация/стандартизация/похожесть (similarizing) обучающих и тестовых данных разумным подходом. Под похожим (similarizing) я подразумеваю приведение изображений к одному виду с использованием функции, которая может быть нейронной сетью самой по себе. Я знаю, что обычно подход заключается в обратном направлении – путем аугментации и, следовательно, увеличения вариативности обучающих данных. Но возможно ли также улучшить модель путем ограничения вариативности обучающих и тестовых данных? Я понимаю, что это может быть не лучший подход и, возможно, слишком сложно, но я вижу некоторые сценарии использования, в которых известные техники предотвращения переобучения неприменимы. В этих случаях наличие сети, которая может нормализовать/стандартизировать/похожесть "стиля" различных изображений, может оказаться очень полезным. К сожалению, я не нашел ни одной статьи, обсуждающей этот подход. neural-networks deep-learning overfitting Поделиться Улучшить вопрос Следить за изменениями отредактировано 31 мин назад Mr. AI Cool 1731 3 3 серебряные значки 21 21 бронзовый значок задано 22 августа 2019 г. в 0:41 oezguensi 215 1 1 серебряный значок 8 8 бронзовый значок $\endgroup$ 1 $\begingroup$ Я думаю, что батч-нормализация после каждого слоя стоит изучить. Это может быть ответ на ваш вопрос. $\endgroup$ user9947 – user9947 2019-08-22 06:07:23 +00:00 Комментировано 22 августа 2019 г. в 6:07 Добавить комментарий | 1 Ответ 1 Отсортировано по: Сбросить до значения по умолчанию Наивысший рейтинг (по умолчанию) Измененная дата (от новых к старым) Созданная дата (от старых к новым) 1 $\begingroup$ Батч-нормализация обычно ускоряет процесс обучения, поскольку она делает веса в более глубоких слоях более устойчивыми. Она ограничивает распределение весов в определенном слое - это видео может быть полезным для понимания того, что такое батч-нормализация. Тем не менее, батч-нормализация оказывает регуляризирующее воздействие, которое не всегда увеличивает обобщающую способность. Говоря о обобщающей способности – фокус на регуляризации, вероятно, будет более полезным Поделиться Улучшить ответ Следить за изменениями отвечено 22 августа 2019 г. в 9:23 ashenoy 1429 6 6 серебряные значки 19 19 бронзовый значок $\endgroup$ Добавить комментарий | Вам необходимо войти, чтобы ответить на этот вопрос. Начните задавать вопросы, чтобы получить ответы Найдите ответ на свой вопрос, задав его. Задать вопрос Исследуйте связанные вопросы neural-networks deep-learning overfitting Посмотрите похожие вопросы с этими тегами.

4 $\begingroup$ Существует множество известных способов преодолеть переобучение или улучшить обобщающую способность модели на невидимых данных. Хочу спросить, является ли нормализация/стандартизация/похожесть (similarizing) обучающих и тестовых данных разумным подходом. Под похожим (similarizing) я подразумеваю приведение изображений к одному виду с использованием функции, которая может быть нейронной сетью самой по себе. Я знаю, что обычно подход заключается в обратном направлении – путем аугментации и, следовательно, увеличения вариативности обучающих данных. Но возможно ли также улучшить модель путем ограничения вариативности обучающих и тестовых данных? Я понимаю, что это может быть не лучший подход и, возможно, слишком сложно, но я вижу некоторые сценарии использования, в которых известные техники предотвращения переобучения неприменимы. В этих случаях наличие сети, которая может нормализовать/стандартизировать/похожесть "стиля" различных изображений, может оказаться очень полезным. К сожалению, я не нашел ни одной статьи, обсуждающей этот подход. neural-networks deep-learning overfitting Поделиться Улучшить вопрос Следить за изменениями отредактировано 31 мин назад Mr. AI Cool 1731 3 3 серебряные значки 21 21 бронзовый значок задано 22 августа 2019 г. в 0:41 oezguensi 215 1 1 серебряный значок 8 8 бронзовый значок $\endgroup$ 1 $\begingroup$ Я думаю, что батч-нормализация после каждого слоя стоит изучить. Это может быть ответ на ваш вопрос. $\endgroup$ user9947 – user9947 2019-08-22 06:07:23 +00:00 Комментировано 22 августа 2019 г. в 6:07 Добавить комментарий |