Dublar um vídeo costumava exigir um tradutor, um dublador e um editor. Aqui a IA faz os três papéis, e você revisa a tradução antes de ela ser dublada.
Envie um vídeo com fala, de até 5 minutos e 100 MB. O ElevenLabs Scribe transcreve o áudio e detecta sozinho o idioma de origem, diferencia até quatro falantes e identifica se cada um tem voz masculina ou feminina. Em seguida, um modelo de linguagem traduz cada fala para caber no tempo original, soando como algo que uma pessoa realmente diria, e não como uma tradução literal. Você recebe o roteiro como uma lista de falas: pode editar qualquer uma delas e, se uma fala ficar muito longa, o editor avisa que a fala vai acelerar naquele trecho.
Depois, escolha uma voz para cada falante. “Voz própria” clona o falante a partir do próprio vídeo, para que ele fale o novo idioma com sua própria voz. Ou escolha uma voz da biblioteca da ElevenLabs. O Demucs separa a fala da música e dos ruídos de fundo, de modo que a nova dublagem fica sobre a trilha sonora original, com o volume da fala equilibrado ao longo do vídeo.
Dois recursos extras são opcionais. A sincronia labial (Sync Lipsync 2) ajusta os movimentos da boca para combinar com a nova fala, para vídeos de até 2 minutos com rostos bem enquadrados. As legendas embutidas exibem a tradução na tela, e um arquivo SRT está sempre disponível para download.
Você pode traduzir para 18 idiomas: inglês, espanhol, francês, alemão, italiano, português, polonês, turco, holandês, russo, ucraniano, japonês, coreano, chinês, árabe, hindi, indonésio e vietnamita. Ucraniano, indonésio e vietnamita usam vozes da biblioteca por enquanto. Você só pode clonar a própria voz ou a de alguém que tenha autorizado isso, e você confirma essa condição antes da dublagem.