Краткое содержание

arXiv:2511.14776v1 Объявление Тип: новый Аннотация: Большие языковые модели (LLM) часто генерируют беглые, но фактические неверные утверждения, несмотря на доступ к соответствующим доказательствам, что является сбоем, укорененным в том, как они распределяют внимание между контекстуальными и параметрическими знаниями. Понимание и управление этим внутренним поведением имеет решающее значение как для надежного развертывания, так и для научной интерпретируемости механизмов модели. Мы представляем COMPASS (Контекстно-модулирующую систему управления PID Attention Steering), легкую и интерпретируемую контрольную структуру, которая встраивает модель-оритый цикл обратной связи непосредственно в декодирование. COMPASS количественно определяет зависимость от контекста посредством прозрачной метрики, Оценки зависимости от контекста (CRS), которая служит онлайн-датчиком того, как головки внимания обосновывают генерацию на основе доказательств. Используя этот интерпретируемый сигнал, PID-контроллер динамически модулирует головки внимания для поддержания фактической согласованности без переобучения или многократного декодирования. В ходе оценки по различным бенчмаркам (HotpotQA, XSum, HaluEval, RA