← Вернуться к списку

Уроки создания генератора субтитров с помощью ИИ на стороне клиента (WhisperX + ffmpeg.wasm + ловушка COEP)

Краткое содержание

Выпущено https://8gwifi.org/video/captions/На этой неделе бесплатный генератор субтитров с помощью ИИ, который работает почти полностью на стороне клиента. Делюсь «сырыми» деталями, чтобы никто другой не повторял мои шаги. Архитектура: Браузер извлекает аудио (Web Audio API, передискретизированное до 16 кГц моно) в WAV объемом 2 МБ. Аудио загружается на мой бэкенд, WhisperX возвращает временные метки слов. Браузер рисует предварительный просмотр субтитров на холсте HTML5 поверх видео. При экспорте: ffmpeg.wasm «запекает» субтитры с помощью фильтра `subtitles=` и сгенерированного скрипта `.ass` + libass. Сервер минимален, его касается только аудио для транскрипции. Финальный MP4 создается в браузере, поэтому утверждение «ваше видео никогда не покидает ваше устройство» буквально верно. Ловушка COEP: Чтобы сделать ffmpeg.wasm многопоточным (в 3 раза быстрее), вам требуется Cross-Origin-Embedder-Policy: require-corp. Это молча блокирует: более новые скрипты торгов AdSense (Setupad, ADX Premium), теги Google Publisher, StatCounter и большинство сторонних пикселей. Всё, что не отправляет Cross-Origin-Resource-Policy: cross-origincredentiallessmode loo

Полный текст статьи пока не загружен.