← Вернуться к списку

MdaIF: Надежная универсальная семантическая интеграция изображений с учетом множественных деградаций, управляемая языком

Краткое содержание

arXiv:2511.12525v1 Тип объявления: новый Аннотация: Задача слияния инфракрасных и видимых изображений заключается в объединении дополнительной мультимодальной информации в единый результат. Однако существующие методы 1) не учитывают ухудшение качества видимого изображения в неблагоприятных погодных условиях, что снижает качество объединения; и 2) полагаются на фиксированные архитектуры сетей, ограничивая их адаптируемость к различным сценариям деградации. Для решения указанных проблем мы предлагаем универсальный подход к слиянию изображений с учетом деградаций для различных сценариев, управляемый большой языковой моделью (MdaIF). Учитывая различные характеристики рассеяния атмосферных условий (например, дымка, дождь и снег), вводится система типа смесь-экспертов (MoE) для обработки слияния изображений в разных ситуациях деградации. Чтобы адаптивно извлекать разнообразные знания о погодозависимой деградации и представлениях сцен, совместно именуемых семантическим априорным знанием, мы используем...

Полный текст статьи пока не загружен.