Краткое содержание

Llemma 7B — языковая модель, предназначенная для математики. Она была инициализирована весами Code Llama 7B и обучена на наборе данных Proof-Pile-2 объемом 200 миллиардов токенов. Модели семейства Llemma особенно сильны в цепочечном рассуждении (chain-of-thought reasoning), связанном с математическими вычислениями, а также в применении вычислительных инструментов для решения математических задач, таких как Python и формальные системы доказательства теорем.