Краткое содержание

arXiv:2511.14249v1 Тип объявления: новый Аннотация: Модель автоматического дубляжа фильмов генерирует выразительную речь на основе заданных сценариев, воспроизводя тембр говорящего по краткому образцу тембра и обеспечивая синхронизацию с немой видеопоследовательностью. Современные подходы имитируют упрощённый рабочий процесс, при котором актёры озвучивают материал напрямую без подготовки, игнорируя критически важное взаимодействие режиссёра и актёра. В отличие от этого, реальные рабочие процессы включают динамическое сотрудничество: режиссёры активно взаимодействуют с актёрами, направляя их к усвоению контекстуальных подсказок, в частности эмоций, перед выступлением. Для решения этой проблемы мы предлагаем новую схему обучения взаимодействия "режиссёр-актёр" с использованием механизма извлечения данных для достижения аутентичного дубляжа, названную Authentic-Dubber, которая включает три новых механизма: (1) Мы создаем мультимедийный архив эталонных кадров для имитации учебного материала, предоставляемого режиссёром. Отметим, что мы интегрируем большие языковые модели (LLM), чтобы достичь глубокого понимания эмоциональных представлений.