Краткое содержание

Llama 3.1 Swallow 8B — это большая языковая модель, созданная путем непрерывной предобучающей тренировки на основе модели Meta Llama 3.1 8B. Модель Llama 3.1 Swallow улучшила возможности работы с японским языком исходной версии Llama 3.1, сохранив при этом способности обработки английского языка. Для непрерывной предобучающей тренировки было использовано около 200 миллиардов токенов, отобранных из большого японского веб-корпуса (версия корпуса Swallow 2), статей японской и английской Википедии, а также материалов по математике и кодированию и др. (см. раздел «Наборы данных для обучения» базовой модели). Инструкционные настроенные модели (Instruct) были созданы методом контролируемого дообучения (SFT) на синтетическом наборе данных, специально разработанном для японского языка.