Doblar un vídeo solía requerir un traductor, un actor de doblaje y un editor. Aquí la IA hace las tres cosas, y tú revisas la traducción antes de que se convierta en voz.
Sube un vídeo con diálogo, de hasta 5 minutos y 100 MB. ElevenLabs Scribe lo transcribe y detecta el idioma de origen por sí solo, distingue hasta cuatro hablantes distintos y determina si cada voz es masculina o femenina. Un modelo de lenguaje traduce luego cada línea ajustándola al tiempo disponible en el original, para que suene como algo que diría una persona y no como una traducción palabra por palabra. Obtienes el guion como una lista de líneas: puedes editar cualquiera de ellas, y si una línea se alarga, el editor te avisa de que el habla se acelerará en ese punto.
A continuación, elige una voz para cada hablante. "Voz propia" clona al hablante directamente del vídeo original, de modo que habla el nuevo idioma con su propia voz. O elige una voz de la biblioteca de ElevenLabs. Demucs separa el habla de la música y el ruido de fondo, así que el nuevo doblaje se superpone a la banda sonora original, con el nivel de voz equilibrado a lo largo de todo el vídeo.
Hay dos extras opcionales. La sincronización labial (Sync Lipsync 2) ajusta el movimiento de la boca para que coincida con el nuevo discurso, para vídeos de hasta 2 minutos con los rostros claramente en plano. Los subtítulos incrustados muestran la traducción en pantalla, y siempre puedes descargar un archivo SRT.
Puedes traducir a 18 idiomas: inglés, español, francés, alemán, italiano, portugués, polaco, turco, neerlandés, ruso, ucraniano, japonés, coreano, chino, árabe, hindi, indonesio y vietnamita. El ucraniano, el indonesio y el vietnamita utilizan por ahora voces de la biblioteca. Solo puedes clonar tu propia voz o la de alguien que lo haya autorizado, y lo confirmas antes de doblar.