Doubler une vidéo demandait autrefois un traducteur, un comédien de doublage et un monteur. Ici, l'IA fait les trois, et vous vérifiez la traduction avant qu'elle ne soit enregistrée.
Importez une vidéo avec de la parole, jusqu'à 5 minutes et 100 Mo. ElevenLabs Scribe la transcrit et détecte automatiquement la langue source, distingue jusqu'à quatre intervenants et détermine si chacun a une voix masculine ou féminine. Un modèle de langage traduit ensuite chaque réplique pour qu'elle tienne dans le temps de parole d'origine, avec une formulation naturelle plutôt qu'une traduction mot à mot. Vous obtenez le script sous forme de liste de répliques : vous pouvez en modifier chacune, et si une réplique devient trop longue, l'éditeur vous prévient que la parole s'accélérera à cet endroit.
Choisissez ensuite une voix pour chaque intervenant. « Voix d'origine » clone la voix de l'intervenant directement depuis la vidéo, pour qu'il parle la nouvelle langue avec sa propre voix. Vous pouvez aussi choisir une voix dans la bibliothèque ElevenLabs. Demucs sépare la parole de la musique et des bruits de fond, de sorte que le nouveau doublage vient se poser sur la bande-son d'origine, avec un niveau de voix harmonisé sur toute la vidéo.
Deux options sont disponibles en plus. La synchronisation labiale (Sync Lipsync 2) adapte les mouvements des lèvres à la nouvelle voix, pour des vidéos jusqu'à 2 minutes avec des visages bien visibles à l'écran. Les sous-titres incrustés affichent la traduction à l'écran, et un fichier SRT est toujours disponible au téléchargement.
Vous pouvez traduire en 18 langues : anglais, espagnol, français, allemand, italien, portugais, polonais, turc, néerlandais, russe, ukrainien, japonais, coréen, chinois, arabe, hindi, indonésien et vietnamien. L'ukrainien, l'indonésien et le vietnamien utilisent pour l'instant des voix de bibliothèque. Vous ne pouvez cloner que votre propre voix ou celle d'une personne ayant donné son accord, ce que vous confirmez avant le doublage.