Краткое содержание

arXiv:2501.01895v3 Тип объявления: replace-cross Аннотация: Мы представляем EnerVerse, фреймворк-модель для генеративной робототехники, которая создает и интерпретирует воплощенные пространства. EnerVerse использует фреймворк кусочно-авторегрессионной диффузии видео для предсказания будущих воплощенных пространств на основе инструкций, что усилено разреженной контекстной памятью для долгосрочного планирования. Для моделирования 3D-мира робототехники мы применяем многовидовое видео-представление, обеспечивающее богатые перспективы для решения таких проблем, как неоднозначность движений и 3D-привязка. Дополнительно, EnerVerse-D, конвейер генерации данных, сочетающий генеративное моделирование с 4D Gaussian Splatting, формирует самоподкрепляющийся цикл данных для сокращения разрыва между симуляцией и реальностью. Используя эти инновации, EnerVerse преобразует 4D-представления мира в физические действия через голову политики (EnerVerse-A), достигая передовых результатов как в симуляции, так и в реальных задачах. В целях эффективности EnerVerse-A повторно использует признаки из первого шага денизинга и предсказывает действие.