Раньше для дубляжа видео нужны были переводчик, актёр озвучки и монтажёр. Здесь AI берёт на себя все три роли, а вы проверяете перевод до того, как он будет озвучен.
Загрузите видео с речью — до 5 минут и 100 МБ. ElevenLabs Scribe распознаёт речь, сам определяет исходный язык, различает до четырёх спикеров и определяет, мужской у каждого голос или женский. Затем языковая модель переводит каждую реплику с учётом времени, которое было у неё в оригинале, так что перевод звучит естественно, а не дословно. Вы получаете текст в виде списка реплик: любую можно отредактировать, а если реплика становится длиннее исходной, редактор предупредит, что в этом месте речь ускорится.
Дальше выберите голос для каждого спикера. Вариант «свой голос» клонирует спикера прямо из видео, так что на новом языке он говорит своим собственным голосом. Либо выберите голос из библиотеки ElevenLabs. Demucs отделяет речь от музыки и фонового шума, поэтому новая озвучка ложится поверх оригинальной дорожки, а громкость речи выравнивается по всему видео.
Есть две дополнительные опции. Синхронизация губ (Sync Lipsync 2) подстраивает движения рта под новую речь — для видео до 2 минут с чётко видимыми лицами в кадре. Вшитые субтитры выводят перевод прямо на экран, а файл SRT доступен для скачивания всегда.
Доступен перевод на 18 языков: английский, испанский, французский, немецкий, итальянский, португальский, польский, турецкий, нидерландский, русский, украинский, японский, корейский, китайский, арабский, хинди, индонезийский и вьетнамский. Для украинского, индонезийского и вьетнамского пока доступны только голоса из библиотеки. Клонировать можно только свой голос или голос человека, давшего на это согласие, — это нужно подтвердить перед началом озвучки.