Краткое содержание

arXiv:2506.10315v2 Тип анонса: замена Аннотация: Обучаемые оптимизаторы были активной областью исследований последние десять лет, демонстрируя значительный прогресс в создании универсальных практичных оптимизаторов, которые могут служить прямой заменой широко используемым методам вроде Adam. Однако недавние достижения — такие как VeLO, который был мета-обучен в течение 4000 месяцев работы на TPU — остаются малодоступными для широкой аудитории, отчасти из-за зависимости от фреймворка JAX и отсутствия удобных пакетов для последующего применения оптимизаторов после метаобучения. Для устранения данного пробела мы представляем PyLO — библиотеку на основе PyTorch, позволяющую использовать обученные оптимизаторы через привычные и повсеместно принятые рабочие процессы. В отличие от предыдущих работ, сосредоточенных на синтетических или выпуклых задачах, наш акцент сделан на применении методов обучаемого оптимизации к крупномасштабным предобучающим задачам реального мира. Наш релиз включает версию архитектуры небольшого обученного оптимизатора small_fc_lopt с ускорением на CUDA из работы (Metz et al., 2022a).