Краткое содержание

arXiv:2411.07066v4 Тип объявления: замена Аннотация: Обрезка сетей сосредоточена на алгоритмах, целью которых является снижение вычислительной стоимости заданной модели путем удаления подмножества её параметров с минимальным влиянием на производительность. В течение последнего десятилетия наиболее широко используемым подходом к обрезке было удаление параметров с последующим переобучением, которое сегодня неудобно ввиду огромного количества предварительно обученных моделей, которые в любом случае слишком дороги для повторного обучения. В данной работе мы используем функциональную информацию от плотных предварительно обученных моделей, то есть их входные активации, чтобы получить разреженные модели, максимизирующие согласованность активаций относительно соответствующих плотных моделей. Таким образом, мы предлагаем **NeuroAl** — алгоритм типа _дополнения_, который может применяться поверх любого данного алгоритма обрезки больших языковых моделей (LLM), изменяя блочную и строчную разреженность, используя информацию как от плотной модели, так и от её разреженной версии для максимизации _согласованности нейронов_ среди активаций. Различие...