Краткое содержание

arXiv:2511.12903v1 Тип: новая работа Аннотация: В данной работе изучается интерпретируемость признаков нейронных сетей с байесовской гауссовской точки зрения, где оптимизация целевой функции эквивалентна достижению вероятностной границы; обучение модели аппроксимирует плотность распределения, которая делает границу плотной, а целевую функцию оптимальной, часто с использованием гауссовской смеси плотностей. Два примера — это сети со смесями плотностей (MDN), использующие границу для маргинального распределения, и автоэнкодеры, использующие границу для условного распределения. Известный результат, справедливый не только для автоэнкодеров, заключается в том, что минимизация ошибки между входами и выходами максимизирует зависимость между входами и скрытым представлением. Мы используем гильбертово пространство и разложение по собственным функциям для анализа случаев, когда сеть с несколькими выходами порождает несколько центров, определяющих гауссовскую смесь. Наш первый вывод заключается в том, что целевая функция автоэнкодера эквивалентна максимизации следа гауссова оператора — суммы собственных значений относительно базисов, ортонормированных относительно распределений данных и модели. Это позволяет предположить, что, когда а