Früher brauchte man für die Synchronisation eines Videos einen Übersetzer, einen Synchronsprecher und einen Cutter. Hier übernimmt die KI alle drei Rollen, und du prüfst die Übersetzung, bevor sie vertont wird.
Lade ein Video mit Sprache hoch, bis zu 5 Minuten und 100 MB. ElevenLabs Scribe transkribiert es, erkennt die Ausgangssprache automatisch, unterscheidet bis zu vier Sprecher und erkennt, ob jede Stimme männlich oder weiblich klingt. Ein Sprachmodell übersetzt anschließend jede Zeile so, dass sie in die Zeit des Originals passt – es soll klingen, wie jemand es wirklich sagen würde, nicht wie eine Wort-für-Wort-Übertragung. Du erhältst das Skript als Liste von Zeilen: Du kannst jede davon bearbeiten, und wird eine Zeile zu lang, warnt dich der Editor, dass die Sprache an dieser Stelle schneller wird.
Als Nächstes wählst du für jeden Sprecher eine Stimme. „Eigene Stimme“ klont die Stimme direkt aus dem Video, sodass die Person die neue Sprache mit ihrer eigenen Stimme spricht. Alternativ wählst du eine Stimme aus der ElevenLabs-Bibliothek. Demucs trennt die Sprache von Musik und Hintergrundgeräuschen, sodass die neue Vertonung über dem Original-Soundtrack liegt, mit einer über das ganze Video hinweg ausgeglichenen Sprachlautstärke.
Zwei Extras sind optional. Lippensynchronisation (Sync Lipsync 2) passt die Mundbewegungen an die neue Sprache an, für Videos bis zu 2 Minuten mit klar erkennbaren Gesichtern im Bild. Eingebrannte Untertitel zeigen die Übersetzung im Video, und eine SRT-Datei lässt sich immer zusätzlich herunterladen.
Du kannst in 18 Sprachen übersetzen: Englisch, Spanisch, Französisch, Deutsch, Italienisch, Portugiesisch, Polnisch, Türkisch, Niederländisch, Russisch, Ukrainisch, Japanisch, Koreanisch, Chinesisch, Arabisch, Hindi, Indonesisch und Vietnamesisch. Ukrainisch, Indonesisch und Vietnamesisch nutzen derzeit nur Bibliotheksstimmen. Du darfst nur deine eigene Stimme oder die Stimme einer Person klonen, die dem zugestimmt hat, und das bestätigst du vor der Synchronisation.