Краткое содержание

Большой языковой модели (LLM), созданный путем объединения двух предварительно настроенных моделей Llama объемом 70 млрд параметров каждая в одну общую модель размером 120 млрд параметров. Объединяет модели Xwin и Euryale. Благодарности выражаются: - @chargoddard — за разработку фреймворка, использованного для слияния моделей (MergeKit). - @Undi95 — за помощь в определении коэффициентов слияния. #слияние