Краткое содержание

У меня есть небольшой табличный набор данных (~300 элементов), на основе которого нужно построить нейронную сеть, выполнив следующие шаги: 1) подбор гиперпараметров, 2) отбор признаков, 3) финальную оценку модели. Цель построения этой сети — выяснить, можем ли мы достичь хорошей предсказательной способности на данном наборе данных. Классическое разделение на тренировочный, проверочный и тестовый наборы (где тренировочная и проверочная выборки используются на этапах 1–2, то есть во время выбора модели) кажется здесь неудачной стратегией, поскольку этот набор данных очень мал. Поэтому я решил использовать перекрестную проверку (кросс-валидацию). На сайте библиотеки scikit-learn указано, что всегда необходимо сохранять независимый тестовый набор для конечной оценки, следовательно, одна возможная стратегия заключается в применении k-кратной кросс-валидации для этапа подбора модели (шаги 1–2) и использовании отдельного независимого тестового набора для шага 3. Этот подход хорош, однако он дополнительно уменьшает уже маленький размер тренировочного набора. Недавно я прочитал статью, предлагающую альтернативу вложенной стратегии кросс-валидации: