Краткое содержание

arXiv:2511.12034v1 Тип объявления: cross Аннотация: Мультимодальное обучение репрезентациям согласует различные модальности, выравнивая их в едином латентном пространстве. Современные исследования обобщают традительное кросс-модальное выравнивание для достижения усиленного синергетического эффекта, но требуют наличия всех модальностей для каждого экземпляра, что затрудняет использование распространенных наборов данных с отсутствующими модальностями. Мы предлагаем теоретическое осмысление этой проблемы с точки зрения смещения якоря. Наблюдаемые модальности выравниваются с локальным якорем, который отклоняется от оптимального, когда присутствуют все модальности, что приводит к неизбежному смещению. Для решения этой проблемы мы предлагаем CalMRL для мультимодального обучения репрезентациям с целью калибровки неполных выравниваний, вызванных отсутствующими модальностями. В частности, CalMRL использует априорные знания и внутренние связи между модальностями для моделирования импутации отсутствующих данных на уровне репрезентаций. Для разрешения оптимизационной дилеммы мы применяем двухэтапный