Краткое содержание

arXiv:2511.13755v1 Тип объявления: кросс Аннотация: Многомодальное обучение направлено на повышение производительности за счет использования данных из нескольких источников. Во время совместного многомодального обучения из-за модальной предвзятости доминирующая модальность часто преобладает в обратном распространении ошибки, что приводит к несбалансированной оптимизации. Существующие методы все еще сталкиваются с двумя проблемами: во-первых, долгосрочное доминирование доминирующей модальности ослабляет связь между представлением и выходом на поздних этапах обучения, что приводит к накоплению избыточной информации; во-вторых, предыдущие подходы обычно напрямую и равномерно корректируют градиенты доминирующей модальности, игнорируя семантику и направленность между модальностями. Для устранения этих ограничений мы предлагаем метод адаптивного регулирования избыточности для сбалансированного уточнения многомодальной информации (RedReg), который основан на принципе информационного бутылочного горлышка. В частности, мы создаем монитор фазы избыточности, использующий совместный критерий скорости роста эффективного усиления и избыточности для триггеризации...