Краткое содержание

arXiv:2511.06719v1 Тип объявления: новый Аннотация: Эффективные языковые модели объёмом около миллиарда параметров, работающие непосредственно на устройстве, необходимы для обеспечения работы приложений искусственного интеллекта с низкой задержкой на мобильных телефонах и носимых устройствах. Однако достижение высокой производительности в данном классе моделей, поддерживающих длинные контекстные окна и практическое развертывание, остаётся серьёзной задачей. Мы представляем MobileLLM-Pro — языковую модель ёмкостью один миллиард параметров, оптимизированную для развёртывания на устройстве. MobileLLM-Pro демонстрирует передовые результаты по 11 стандартным эталонным тестам, значительно превосходя как Gemma 3-1B, так и Llama 3.2-1B, поддерживает контекстные окна до 128 тысяч токенов и показывает лишь незначительное снижение производительности при квантовании до четырёх бит. Эти улучшения обеспечиваются четырьмя ключевыми инновациями: (1) имплицитная позиционная дистилляция — новая техника, эффективно внедряющая возможности обработки длинных контекстов через передачу знаний; (2) фреймворк объединения специализированных моделей, объединяющий несколько экспертов в определённых областях в одну общую модель;...