Краткое содержание

arXiv:2408.14514v2 Тип объявления: замена Аннотация: В данной работе рассматривается повышение эффективности стандартного двухслойного проекционного блока MLP (Multilayer Perceptron), используемого в рамках архитектуры SimCLR, посредством внедрения предварительно обученных эмбеддингов автоэнкодера. Для контрастивного обучения на основе преимущественно немаркированного набора изображений мы сначала тренируем неглубокий автоэнкодер и извлекаем сжатые представления, содержащиеся в слое эмбеддинга энкодера. Затем замораживаем веса в данном предобученном слое и используем его в качестве замены входному слою проекторного модуля SimCLR по умолчанию. Дополнительно вносим изменения в архитектуру проектора путем уменьшения ширины сети и смены функции активации. Различные варианты проекционных головок применяются для контрастивной тренировки и оценки экстрактора признаков согласно протоколу SimCLR. Экспериментальные результаты показывают, что использование предобученного эмбеддинга автоэнкодера в проекторе позволяет не только повысить точность классификации...