Краткое содержание

Ling-1T — это открытая языковая модель с триллионом параметров, разработанная компанией inclusionAI и выпущенная под лицензией MIT. Она представляет собой первую флагманскую модель серии Ling 2.0, построенную вокруг архитектуры разреженной активации примерно с 50 миллиардами активных параметров на токен. Модель поддерживает до 128 К контекстных токенов и делает акцент на эффективную обработку рассуждений благодаря стратегии обучения «Эволюционная цепочка мыслей (Evo-CoT)». Предобученная на более чем 20 триллионах плотных токенов, ориентированных на рассуждения, Ling-1T демонстрирует высокие результаты в тестах по генерации кода, математике и логическому мышлению, одновременно обеспечивая высокую эффективность вывода. В модели используется обучение смешанной точности FP8, маршрутизация MoE с нормализацией QK и слои MTP для обеспечения устойчивости композиционного рассуждения. Для пост-обучающей настройки семантического контроля на уровне предложений введена оптимизация политики лингвистических единиц (LPO). Ling-1T способна выполнять сложную генерацию текста, многоязычные рассуждения...