Краткое содержание

arXiv:2510.25327v4 Тип объявления: replace-cross Аннотация: Вывод в реальном времени с использованием мультимодальных данных на ресурсо-ограниченных периферийных устройствах крайне важен для таких приложений, как автономное вождение, взаимодействие человека с компьютером и мобильное здравоохранение. Однако предыдущие работы часто упускают из виду тесную связь между динамикой сенсорного восприятия и выполнением модели, а также сложные межмодальные зависимости. В этой статье мы предлагаем MMEdge — новую платформу для мультимодального вывода на устройстве, основанную на конвейерном сборе и кодировании данных. Вместо ожидания полных входных данных от сенсоров, MMEdge разбивает весь процесс вывода на последовательность мелкозернистых модулей сбора и кодирования данных, что позволяет выполнять вычисления инкрементально по мере поступления данных. MMEdge также представляет легковесный, но эффективный модуль временной агрегации, который захватывает богатую временную динамику между различными конвейерными модулями для сохранения точности. Такое конвейерное проектирование также открывает возможности для мелкозернистой межмодальной оптимизации.