← Вернуться к списку

Временная адаптация на этапе тестирования с помощью моделей пространства состояний

Краткое содержание

arXiv:2407.12492v3 Тип объявления: замена Аннотация: Расхождения в распределениях между обучающими и тестовыми данными неизбежны в течение жизненного цикла развернутой модели, что приводит к снижению производительности. Адаптация модели на тестовых выборках может помочь смягчить это падение. Однако большинство методов адаптации во время тестирования были сосредоточены на синтетических искажениях, оставляя различные типы сдвигов распределений недостаточно изученными. В данной статье мы фокусируемся на сдвигах распределений, которые развиваются постепенно с течением времени — это явление широко распространено в реальных условиях, но, как мы показываем, представляет сложность для существующих методов. Для решения этой проблемы мы предлагаем STAD, метод байесовской фильтрации, который адаптирует развернутую модель к временным сдвигам распределений путем изучения изменяющейся во времени динамики в последнем наборе скрытых признаков. Без необходимости в разметке наша модель выводит эволюционирующие во времени классовые прототипы, которые выступают в роли динамической классифицирующей головы. В экспериментах на реальных данных с временными сдвигами распределений мы демонстрируем, что наш метод эффективно справляется с работой на небольших батчах.

Полный текст статьи пока не загружен.