Краткое содержание

arXiv:2511.12090v1 Тип объявления: новый Аннотация: Методы непрерывного обучения на основе промтов тонко настраивают лишь небольшой набор дополнительных обучаемых параметров, сохраняя параметры предварительно обученной модели замороженными. Это позволяет эффективно адаптироваться к новым задачам, одновременно снижая риск катастрофического забывания. Обычно эти методы присоединяют по одному независимому промту, специфичному для задачи, к каждому слою предварительно обученных моделей, чтобы локально модулировать их признаки, обеспечивая соответствие представления слоя требованиям новой задачи. Однако, хотя введение обучаемых промтов независимо на каждом уровне обеспечивает высокую гибкость для адаптации к новым задачам, эта чрезмерно гибкая настройка может сделать определённые слои подверженными ненужным обновлениям. Поскольку все промты вплоть до текущей задачи суммируются в итоговый промт для всех пройденных задач, модель может легко перезаписывать представления признаков, важные для предыдущих задач, что увеличивает риск катастрофического забывания. Для решения этой проблемы