Краткое содержание

Это обновление моего предыдущего поста, сравнивающего Qwen 3.6 35B и Gemma 4 26B. Я хотел бы уделить особое внимание следующим моментам: 1. Возможно, Gemma 4 26B пострадала от "налога квантования" и показала бы значительно лучшие результаты при 8-битном квантовании. Поэтому на этот раз я хотел проверить это с помощью Q8_K_XL от UD. 2. Многие люди (включая меня) были заинтересованы в том, как будет работать плотная модель Qwen 3.5 27B в этих тестах. 3. Кстати о плотных моделях, я также хотел включить Gemma 4 31B, чтобы посмотреть на ее производительность. Представляю результаты, консолидированные с предыдущим прогоном для полного сравнения. **1. Результаты тестов** | Метрика | Qwen3.6-35B Q4 | Gemma4-26B Q4 | Gemma4-26B Q8 | Qwen3.5-27B Q4 | Gemma4-31B Q4 | | :--- | :---: | :---: | :---: | :---: | :---: | | Базовые сбои | 37 | 37 | 37 | 37 | 37 | | Исправленные тесты | 32 (86,5%) | 28 (75,7%) | 17 (45,9%) | 37 (100%) | 37 (100%) | | Регрессии | 0 | 8 | 0 | 0 | 0 | | Чистый балл | 32 | 20 | 17 | 37 | 37 | | Все еще сбоит (из 37) | 59 | 20 | 0 | 0 | 0 | | Общее количество сбоев после прогона | 51 | 72 | 0 | 0 | 0 | | Нарушения защитных барьеров | 0 | 0 | 0 | 0 | 0 | **2. Использование токенов** | Метрика | Qwen3.6 Q4 | Gemma4 26B Q4 | Gemma4 26B Q8 | Qwen3.5-27B Q4 | Gemma4 31B Q4 | | :--- | :---: | :---: | :---: | :---: | :---: | | Входные токены | 634 965 | 1 005 964 | 703 732 | 55 |