Краткое содержание

Solar OpenSolar Open — это флагманская 102-миллиардная языковая модель Upstage, обученная с нуля и выпущенная под лицензией Solar-Apache License 2.0 (см. LICENSE для деталей). Будучи архитектурой Mixture-of-Experts (MoE), она обеспечивает производительность корпоративного уровня в рассуждениях, следовании инструкциях и агентских возможностях, уделяя приоритетное внимание прозрачности и кастомизации для сообщества с открытым исходным кодом. Основные особенности Архитектура MoE (102B / 12B): Построена на архитектуре Mixture-of-Experts с 102B общих / 12B активных параметров. Этот дизайн обеспечивает глубину знаний огромной модели со скоростью инференса и экономической эффективностью гораздо меньшей модели. Масштаб обучения: Предварительно обучена на 19.7 триллионах токенов, что обеспечивает широкое покрытие знаний и надежные возможности рассуждения в различных областях. Обзор модели Название модели: Solar Open 100B Hugging Face ID: Upstage/Solar-Open-100B Архитектура: Mixture-of-Experts (MoE) Общее количество параметров: 102.6B Активные параметры: 12B (на токен) Эксперты: 129 экспертов (