Краткое содержание

Oobabooga недавно опубликовал 5 подробных отчетов о тестировании производительности GGUF для Gemma 4 26B-A4B, Gemma 4 E4B, Qwen3.5-35-A3B и Qwen3.5-27B, охватывающих релизы от Unsloth, Bartowski, LM Studio, GGML, Mradermacher, AesSedai и Ubergarm. Методология тестирования основана на расхождении Кульбака–Лейблера (KL Divergence) с использованием набора данных объемом около 250 000 токенов по шести категориям: кодирование, общий чат, вызов инструментов, наука, нелатинские скрипты и длинные документы. Это дает гораздо более четкое представление о реальной производительности в чате, чем бенчмарки, основанные только на вики-тексте. Вы можете найти отчеты и результаты здесь: https://localbench.substack.com/ (анализ 31B можно читать бесплатно. Проведение этих тестов требует много времени и денег, поэтому стоит поддержать oobabooga, если вам кажется полезной эта работа.) Я думаю, что oobabooga время от времени сделает один или два платных отчета бесплатными. Отчеты по Gemma 4 26B-A4B, Gemma 4 E4B и аналогичные невероятно подробны, но они также могут быть немного запутанными из-за большого количества квант...