Краткое содержание

Мощная мультимодальная модель чат-бота типа смесь-экспертов (MoE), включающая всего 28 млрд параметров, из которых активируется 3 миллиарда на токен, обеспечивающая выдающееся понимание текста и изображений благодаря своей инновационной гетерогенной структуре MoE с маршрутизацией изолированной по модальности. Модель построена на масштабируемой инфраструктуре, эффективной для высокопроизводительного обучения и вывода, применяет передовые постобучающие техники — дообучение с уточнением (SFT), оптимизацию политики распределения (DPO) и обучение прогнозированию неопределенности (UPO) — для достижения оптимальной производительности, поддерживает впечатляющую длину контекста в 131 тыс. символов и согласование RLVR для превосходной межмодальной аргументации и возможностей генерации.