Краткое содержание

arXiv:2511.12281v1 Тип анонса: cross Аннотация: Стремясь снизить высокую стоимость использования чернобоксных больших языковых моделей (LLM), мы представляем новую парадигму сжатия промптов, в рамках которой используем меньшие LLM для сжатия входных данных для более крупных моделей. Мы представляем первый комплексный бенчмарк LLM-как-компрессора, охватывающий 25 моделей с открытым и закрытым исходным кодом, который выявляет значительный разрыв в способности моделей к сжатию с точки зрения (i) сохранения семантически важной информации (ii) следования предоставляемому пользователем коэффициенту сжатия (CR). Мы дополнительно улучшаем производительность gpt-4.1-mini, лучшего базового компрессора в целом, с помощью оптимизации мета-промпта для сжатия на основе Textgrad. Мы также определяем наиболее перспективную базовую LLM с открытым исходным кодом — Qwen3-4B — и дообучаем её с помощью комбинации контролируемого тонкого настроения (SFT) и Group Relative Policy Optimization (GRPO), преследуя двойную цель: соблюдение CR и максимизацию производительности на последующих задачах. Полученную модель мы называем