Краткое содержание

Tülu 3 405B — самая крупная модель семейства Tülu 3, использующая полностью открытую рецептуру пост-обучения на масштабе 405 миллиардов параметров. Построенная на основе базовой модели Llama 3.1 405B, она применяет обучение с подкреплением проверяемыми вознаграждениями (RLVR), чтобы улучшить выполнение инструкций, производительность на наборах данных MATH, GSM8K и IFEval. В рамках подхода Tülu 3 с открытым исходным кодом эта модель демонстрирует передовые возможности, превосходя предыдущие открытые весовые модели, такие как Llama 3.1 405B Instruct и Nous Hermes 3 405B сразу по нескольким бенчмаркам. Для получения дополнительной информации нажмите здесь.