Краткое содержание

arXiv:2411.15239v3 Тип объявления: замена Аннотация: Методы дистилляции знаний сжимают модели путем обучения сети-ученика с использованием выходных классификационных результатов высококачественной учительской модели, однако они могут оказаться неспособными эффективно переносить свойства базовых моделей компьютерного зрения от учителя к ученику. Хотя недавно было показано, что дистилляция признаков — когда выходные признаки учительской модели реплицируются взамен классификации — позволяет воспроизводить производительность фундаментальных моделей на многочисленных последующих задачах, такие методы уступают в воспроизведении критически важных свойств, таких как устойчивость и качество обнаружения внераспределенных (out-of-distribution, OOD) объектов. В данной работе этот недостаток преодолевается введением метода сжатия с сохранением косинусной схожести (Cosine-similarity Preserving Compression, CosPress). Это метод дистилляции признаков, который изучает отображение для сжатия латентного пространства учительской модели в меньшее пространство ученической модели, сохраняя косинусную схожесть между эмбеддингами изображений. Этот...