Краткое содержание

arXiv:2408.07588v5 Тип объявления: replace-cross Аннотация: Многие модели машинного обучения требуют установки параметра, контролирующего их размер до обучения, например, количество нейронов в DNN или индуцирующих точек в ГП. Увеличение емкости обычно улучшает производительность до тех пор, пока не будет захвачена вся информация из набора данных. После этого момента вычислительные затраты продолжают расти без улучшения производительности. Это приводит к вопросу: «Насколько большим должно быть достаточно большое?» Мы исследуем эту проблему для гауссовых процессов (однослойных нейронных сетей) в непрерывном обучении. Здесь данные становятся доступными инкрементально, и поэтому конечный размер набора данных не будет известен до обучения, что препятствует использованию эвристик для установки фиксированного размера модели. Мы разрабатываем метод для автоматической регулировки размера модели при сохранении близкой к оптимальной производительности. Наша экспериментальная процедура следует ограничению, что любые гиперпараметры должны быть установлены без просмотра свойств набора данных, и мы показываем, что наш метод perf