MusRec: редактирование музыки по тексту без предварительного обучения на основе Rectified Flow и диффузионных трансформеров
Краткое содержание
arXiv:2511.04376v2 Тип объявления: replace-cross Аннотация: Редактирование музыки стало важной и практической областью искусственного интеллекта с приложениями, начиная от создания музыки для видеоигр и фильмов и заканчивая персонализацией существующих композиций согласно предпочтениям пользователя. Однако существующие модели сталкиваются со значительными ограничениями, такими как возможность редактировать только синтезированную музыку, созданную их собственными моделями, необходимость в высокоточных промтах или требование переобучения для конкретной задачи, что исключает истинную способность к работе в режиме «zero-shot». Используя последние достижения в области rectified flow и диффузионных трансформеров, мы представляем MusRec — модель для редактирования музыки по текстовому описанию в режиме zero-shot, способную эффективно и качественно выполнять разнообразные задачи редактирования реальной музыки. Результаты экспериментов демонстрируют, что наш подход превосходит существующие методы по сохранению музыкального содержания, структурной согласованности и точности редактирования, закладывая прочную основу для контролируемого редактирования музыки в реальных условиях.
Полный текст статьи пока не загружен.