← Вернуться к списку

Какие признаки разреженных автоэнкодеров являются реальными? Knockoff-переменные Model-X для контроля уровня ложных открытий

Краткое содержание

arXiv:2511.11711v1 Тип объявления: новый Аннотация: Хотя разреженные автоэнкодеры (SAE) играют ключевую роль в выявлении интерпретируемых признаков в нейронных сетях, задача разграничения реальных вычислительных паттернов и ошибочных корреляций остаётся сложной. Мы представляем метод Model-X knockoffs для селекции признаков в SAE, используя процедуру knock-off+ для контроля уровня ложных открытий (FDR) с гарантиями для конечных выборок в рамках стандартных предположений Model-X (в нашем случае — с использованием гауссовского суррогата для латентного распределения). Мы отобрали 129 признаков при целевом уровне FDR q=0.1 после анализа 512 латентных переменных SAE с высокой активностью для классификации тональности высказываний с помощью модели Pythia-70M. Согласно выбранному набору, около 25% исследуемых латентных переменных несут релевантный для задачи сигнал, тогда как 75% — нет, при этом демонстрируя 5.40-кратное разделение в статистике knockoff по сравнению с неотобранными признаками. Наш метод предлагает воспроизводимый и принципиальный подход для надёжного обнаружения признаков за счёт комбинации SAE с осведомлённым о множественном тестировании и

Полный текст статьи пока не загружен.