Краткое содержание

arXiv:2511.14569v1 Тип объявления: новое Аннотация: Задача арифметики недавно появилась как перспективный метод редактирования предварительно обученных моделей с открытым словарём (open-vocabulary), предлагая экономически эффективный альтернативный подход по сравнению со стандартным многоцелевым дообучением. Однако, несмотря на обилие моделей с закрытым словарём (closed-vocabulary), которые не были предварительно обучены под языковым надзором, применение задачи арифметики к этим моделям остаётся неизученным. В данной статье мы внедряем и исследуем задачу сложения в моделях классификации изображений с закрытым словарём. Мы рассматриваем различные схемы предварительного обучения и обнаруживаем, что "разделение весов" — свойство, позволяющее использовать задачу арифметики, является общим следствием процесса предобучения, так как оно проявляется в различных предварительно обученных моделях с закрытым словарём. Фактически, мы обнаружили, что предварительно обученные трансформеры для компьютерного зрения с закрытым словарём также могут быть отредактированы с помощью задачи арифметики, достигая высокой производительности при добавлении задач и обеспечивая эффективное развертывание многозадачных моделей. Наконец, мы демонстрируем, чт