Краткое содержание

arXiv:2511.12180v1 Тип: новая статья Аннотация: Контрастное обучение стало краеугольным камнем обучения представлений без учителя в области компьютерного зрения, обработки естественного языка и графовых данных, где доминирующей функцией потерь является InfoNCE. Несмотря на эмпирический успех, теоретические основы InfoNCE остаются малоизученными. В данной работе мы вводим явное пространство признаков для моделирования аугментированных представлений выборок и матрицу переходных вероятностей для описания динамики аугментации данных. Мы демонстрируем, что InfoNCE оптимизирует вероятность того, что два представления принадлежат одному исходному образцу, приближая её к постоянной цели, определяемой этой матрицей, что естественным образом индуцирует кластеризацию признаков в пространстве представлений. Используя это наблюдение, мы предлагаем Scaled Convergence InfoNCE (SC-InfoNCE) — новую функцию потерь, вводящую настраиваемую цель сходимости для гибкого управления выравниванием сходства признаков. Масштабируя целевую матрицу, SC-InfoNCE обеспечивает гибкий контроль над выравниванием сходства признаков, позволяя обучение