Краткое содержание

arXiv:2511.05716v1 Тип объявления: новое Аннотация: Мы рассматриваем проблему распределённо-устойчивого мультимодального машинного обучения. Современные подходы часто основаны на объединении модальностей на уровне признаков (ранняя интеграция) либо эвристическом моделировании неопределённости, что снижает значимость эффектов, специфичных для каждой модальности, и даёт ограниченные результаты. В данной работе предлагается новый подход на основе оптимизационной схемы распределённой устойчивости (DRO), направленный на изучение теоретических и практических аспектов мультимодального машинного обучения. Сначала мы обосновываем предложенную постановку задачи и показываем её важность через анализ сложности. Затем устанавливаем верхние границы обобщающей способности и нижние минимаксные границы, обеспечивающие гарантии производительности. Эти результаты дополнительно расширяются в условиях учёта ошибок, специфичных для каждого кодировщика. Эмпирически демонстрируем, что наш подход повышает устойчивость как в симуляционных экспериментах, так и на реальных наборах данных. Вместе эти выводы создают фундаментальную основу для практического применения мультимодальных методов.