Как нейросеть переводит видео. Часть 2: русский длиннее не текстом, а звуком

Автор в одиночку пилит speeek.io — сервис дубляжа видосов. Первая часть была про вход конвейера: как звук превращается в текст с таймкодами и что Whisper с этим текстом выделывает. Эта — про середину: перевод и запихивание перевода в тайминг оригинала.

Самый болезненный кусок всего проекта — как раз эта середина. С распознаванием автор худо-бедно разобрался, синтез берёт готовым на стороне. А вот что делать с русской фразой, которой тупо не хватает секунд английской, — до сих пор не уверен. Ближе к концу — эксперимент, после которого картинка стала чуть яснее.

Читать далее

👉 Telegram | Max