Краткое содержание

arXiv:2408.14033v3 Тип анонса: replace-cross Аннотация: Автономное машинное обучение привлекает в последнее время значительное внимание. Мы представляем MLR-COPILOT — автономную систему для исследований в области машинного обучения, управляемую агентами на основе больших языковых моделей. Система предназначена для повышения продуктивности исследований в области ML за счёт автоматизированной генерации и реализации исследовательских идей в заданных ограничениях. Наша работа была выпущена в августе 2024 года (одновременно с AI-Scientist) и получила заметное признание ведущих проектов. Мы дополнительно улучшаем нашу систему генерации идей последующим обучением. Фреймворк состоит из трёх этапов: генерация идей, реализация эксперимента и выполнение кода. Сначала существующие научные статьи используются для генерации feasible-идей и планов экспериментов с помощью IdeaAgent, работающего на основе RL-тюненой LLM. Затем ExperimentAgent использует полученный прототипный код для преобразования планов в исполняемый код с опционально полученными кандидатными моделями и данными из HuggingFace. На заключительном этапе