Краткое содержание

MiniMax-01 объединяет в себе модели MiniMax-Text-01 для генерации текста и MiniMax-VL-01 для понимания изображений. Модель содержит 456 миллиардов параметров, из которых активируется 45,9 миллиарда на каждый запрос, и способна обрабатывать контекст до 4 миллионов токенов. Текстовая модель построена на гибридной архитектуре, объединяющей механизмы Lightning Attention, Softmax Attention и Mixture-of-Experts (MoE). Визуальная модель основана на фреймворке «ViT-MLP-LLM» и натренирована поверх текстовой модели. Подробнее ознакомиться с релизом можно здесь: https://www.minimaxi.com/en/news/minimax-01-series-2