Краткое содержание

arXiv:2511.15390v1 Объявление Тип: новый Аннотация: Большие языковые модели (LLM) достигли выдающихся результатов в широком спектре задач, что сдерживает их реальное внедрение из-за огромных размеров. Существующие методы обрезки (например, Wanda), предназначенные для LLM, в значительной степени опираются на ручное проектирование алгоритмов обрезки, что приводит к \textit{огромным трудовым затратам} и \textit{требует экспертных знаний}. Более того, мы впервые выявили серьезную проблему с \textit{выбросами значений}, вызывающую резкое ухудшение производительности при высоких коэффициентах обрезки, вызванное однородной разреженностью, что поднимает дополнительные вопросы о том, как разрабатывать адаптивную разреженность обрезки, оптимальную для LLM. Могут ли LLM обрезать себя? В этой работе мы предлагаем утвердительный ответ, представляя новый метод обрезки под названием \textbf{AutoPrune}, который в первую очередь преодолевает ограничения экспертных знаний за счет использования LLM для проектирования оптимальных алгоритмов обрезки для самих себя автоматически без какого-либо экспертного знания. В частности, чтобы смягчить t