Краткое содержание

Шаг 3 — передовая мультимодальная модель рассуждений, построенная на архитектуре смеси экспертов с общим количеством параметров 321 млрд и активным числом 38 млрд. Она разработана от начала до конца таким образом, чтобы минимизировать затраты на декодирование, обеспечивая при этом выдающиеся результаты в области визуального и языкового анализа. Благодаря совместной разработке методов мультиматричной факторизационной аттеншна (MFA) и разделения внимания и FFN (AFD), Шаг 3 сохраняет высокую эффективность работы как на флагманских, так и на бюджетных ускорителях.