Краткое содержание

Арктик — гибридная архитектура трансформера плотный-МоЕ (Mixture of Experts), предварительно обученная с нуля командой исследований ИИ Snowflake. Арктик объединяет 10-миллиардную плотную модель трансформера с остаточной сетью МоЕ MLP размером 128×3,66 млрд параметров, что даёт суммарно 480 миллиардов параметров, из которых активными являются 17 миллиардов, выбранных с помощью топ-2 гейтинга. Для получения дополнительной информации о выпуске этой модели перейдите сюда.