Краткое содержание

arXiv:2511.12150v1 Тип: новая статья Аннотация: Интеграция событийных камер и импульсных нейронных сетей (ИНС) открывает путь к энергоэффективному зрительному интеллекту, однако недостаток событийных данных и разреженность выходных данных DVS затрудняют эффективное обучение. Перенос знаний из RGB в DVS часто показывает невысокую производительность из-за существенного разрыва в распределениях между модальностями. В данной работе представлен Time-step Mixup Knowledge Transfer (TMKT) — кросc-модальный фреймворк для обучения со стратегией вероятностного смешивания по временным шагам (TSM). TSM использует асинхронную природу ИНС, интерполируя RGB и DVS входы на различных временных шагах для создания плавного учебного плана внутри каждой последовательности, что снижает дисперсию градиента и стабилизирует оптимизацию, что подтверждено теоретическим анализом. Для использования вспомогательного контроля от TSM, в TMKT вводятся два облегченных модально-ориентированных критерия: Modality Aware Guidance (MAG) для поточечного контроля исходных данных и Mixup Ratio Perception (MRP) для оценки коэффициента смешивания на уровне последовательности.