← Вернуться к списку

MoETTA: Адаптация во время тестирования при смешанных сдвигах распределения с использованием слоя MoE-LayerNorm

Краткое содержание

arXiv:2511.13760v1 Тип объявления: кросс Аннотация: Адаптация во время тестирования (Test-Time Adaptation, TTA) доказала свою эффективность в снижении падения производительности при сдвигах распределения данных в одном домене путем обновления параметров модели на этапе вывода. Однако реальные развертывания часто сталкиваются со смешанными сдвигами распределений, когда тестовые выборки подвержены воздействию разнообразных и потенциально конфликтующих факторов доменов, что создает значительные трудности даже для современных методов TTA уровня state-of-the-art. Ключевым ограничением существующих подходов является их зависимость от единого пути адаптации, который не учитывает тот факт, что оптимальные направления градиентов могут значительно различаться между разными доменами. Более того, современные эталонные тесты сосредоточены только на синтетических или однородных сдвигах, не отражая сложность реальных гетерогенных смешанных сдвигов распределений. Для решения этой проблемы мы предлагаем MoETTA — новую энтропийную структуру TTA, интегрированную с архитектурой "смесь экспертов" (Mixture-of-Experts, MoE). Вместо навязывания единого правила обновления параметров для всех т...

Полный текст статьи пока не загружен.