Краткое содержание

arXiv:2506.20746v2 Тип объявления: замена Аннотация: Когда большая языковая модель (LLM) изучает новый факт во время тонкой настройки (например, новые кинопремьеры, недавно избранный папа и др.), куда попадает эта информация? Обогащаются ли сущности информацией о связях, либо модели извлекают эту информацию непосредственно перед предсказанием? Или же верна формулировка «все вышеперечисленное», когда большие языковые модели используют несколько избыточных эвристик одновременно? Современные подходы локализации (например, патчинг активаций) плохо подходят для такого анализа, поскольку обычно заменяют части остаточного потока, таким образом перезаписывая ранее полученную информацию. Для устранения данного пробела мы предлагаем метод динамической пересадки весов, который избирательно переносит веса из тонко настроенной модели на предварительно обученную модель. Используя этот подход, мы демонстрируем два отдельных пути извлечения информации о взаимосвязях после тонкой настройки: 1) обогащение остаточного потока информацией о связи при обработке токенов, соответствующих конкретной сущности (например, «Зендая» в предложении «Зендая сыграла вместе...»).