Краткое содержание

Moonlight-16B-A3B-Instruct — это языковая модель типа смесь-экспертов (MoE), разработанная компанией Moonshot AI и содержащая 16 миллиардов параметров. Она оптимизирована для выполнения инструкций с активацией 3 миллиардов параметров на каждый вывод. Модель улучшает границу Парето по производительности на один FLOP сразу по нескольким бенчмаркам: английскому языку, кодированию, математике и китайскому языку. По своим показателям она превосходит сопоставимые модели вроде Llama3-3B и Deepseek-v2-Lite, оставаясь при этом эффективной для развертывания благодаря интеграции с платформой Hugging Face и совместимости с популярными движками вывода, такими как vLLM12.