Кросс-доменное обучение с малым числом примеров с использованием коалесцентных проекций и резервирования латентного пространства
Краткое содержание
arXiv:2507.15243v2 Тип объявления: замена-перекрёстная публикация Аннотация: Несмотря на прогресс в области кросс-доменного обучения с небольшим количеством примеров (few-shot), модель, предварительно обученная с использованием DINO и объединённая с прототипным классификатором, превосходит последние методы уровня state-of-the-art. Ключевое ограничение, которое необходимо преодолеть, заключается в том, что обновление слишком большого количества параметров трансформеров приводит к переобучению из-за нехватки размеченных образцов. Для решения этой проблемы мы предлагаем новую концепцию — коалесцентную проекцию, которая является эффективным преемником мягких подсказок (soft prompts). Кроме того, мы предлагаем новый метод генерации псевдоклассов, который в сочетании с самонадзорными преобразованиями полагается исключительно на базовый домен для подготовки сети к встрече с невиданными образцами из различных доменов. Предложенный подход демонстрирует свою эффективность в комплексных экспериментах по экстремальной проблеме сдвига домена на эталонном наборе данных BSCD-FSL. Наш код опубликован по адресу \href{https://github.com/Naeem-Paeedeh/CPLSR}{https://github.com/Naeem-Paeedeh/CPLSR}.
Полный текст статьи пока не загружен.