Краткое содержание

arXiv:2506.08270v3 Тип объявления: замена Аннотация: Проектирование нейронных сетей обычно основано на ручном подборе методом проб и ошибок или поиске архитектуры нейросети (Neural Architecture Search — NAS), за которым следует обучение весов. Первый подход требует значительных временных затрат и усилий, в то время как второй часто приводит к дискретизации поиска архитектуры и оптимизации весов. В данной статье мы предлагаем принципиально иной подход, который одновременно оптимизирует архитектуру и веса нейронной сети. Наш фреймворк сначала обучает универсальный многослойный автоэнкодер, который встраивает архитектурную и параметрическую информацию в непрерывное латентное пространство, где функционально схожие нейронные сети отображаются ближе друг к другу. Затем для заданного набора данных мы случайным образом инициализируем точку в пространстве вложений и обновляем её с помощью градиентного спуска для получения оптимальной нейронной сети, совместно оптимизируя ее структуру и веса. Процесс оптимизации включает штрафы за разреженность и компактность, что способствует созданию эффективных моделей. Эксперимент