Краткое содержание

arXiv:2503.20191v2 Тип объявления: замена Аннотация: Обучение больших базовых моделей обходится в сотни миллионов долларов, что делает оптимизацию их развертывания критически важной. Современные подходы требуют, чтобы инженеры по машинному обучению вручную создавали рецепты обучения путем подверженного ошибкам проб и ошибок на дорогостоящих вычислительных кластерах. Для обеспечения эффективного исследования конфигураций обучения исследователи разработали системы моделирования производительности. Однако эти системы вынуждают пользователей переводить свои рабочие нагрузки на специализированные языки описания, что создает фундаментальный семантический разрыв между реальной рабочей нагрузкой и её представлением. Этот разрыв порождает неизбежный компромисс: системы должны либо поддерживать узкий набор рабочих нагрузок для сохранения удобства использования, либо требовать сложных описаний, которые ограничивают практическое внедрение, либо жертвовать точностью прогнозирования в пользу упрощенных моделей производительности. Мы представляем Maya, систему моделирования производительности, которая устраняет эти компромиссы за счет прозрачной эмуляции устройств.