Краткое содержание

arXiv:2511.12852v1 Тип объявления: новый Аннотация: Глубокие нейронные сети демонстрируют высочайшую производительность, но их механистическая интерпретация остается сложной задачей. В данной работе мы предлагаем контрольный теоретический фреймворк, который рассматривает обученную нейронную сеть как нелинейную систему в пространстве состояний и использует локальную линеаризацию, граммианы управляемости и наблюдаемости, а также сингулярные числа Ханкеля для анализа ее внутренних вычислений. Для заданного входа мы линеаризуем сеть вокруг соответствующего шаблона скрытых активаций и строим модель пространства состояний, чье состояние состоит из активаций скрытых нейронов. Якобианы вход-состояние и состояние-выход определяют локальные граммианы управляемости и наблюдаемости, на основе которых мы вычисляем сингулярные числа Ханкеля и связанные с ними моды. Эти величины обеспечивают принципиальное понятие важности нейронов и путей: управляемость измеряет, насколько легко каждый нейрон может быть возбужден входными возмущениями, а наблюдаемость измеряет, насколько сильно каждый нейрон влияет на вых