Краткое содержание

Llama 4 Maverick 17B Instruct (128E) — высокоемкая мультимодальная языковая модель от компании Meta, построенная на архитектуре типа смесь-экспертов (MoE), включающей 128 экспертов и использующей 17 миллиардов активных параметров на один проход прямого распространения (всего 400 млрд). Модель поддерживает многоязычный ввод текста и изображений, генерирует многоязычные тексты и код на выходе на 12 поддерживаемых языках. Оптимизированная для выполнения визуальных и лингвистических задач, модель настроена на ассистентское поведение, обработку изображений и универсальное взаимодействие в различных модальностях. Особенностью модели является ранняя интеграция для нативной мультимодальности и контекстное окно размером в миллион токенов. Обучение проводилось на специально подобранной смеси общедоступных, лицензированных и собственных данных платформы Meta общим объемом около 22 триллионов токенов, с ограничением знаний августом 2024 года. Выпущена 5 апреля 2025 года под лицензией сообщества Llama 4, модель подходит для исследовательских и коммерческих приложений, требующих продвинутого понимания мультимодальной информации и высокой пропускной способности моделей.