これまで動画の吹き替えには、翻訳者・声優・編集者の3人が必要でした。ここではAIがその全てを代行し、音声化する前に翻訳内容を確認できます。
セリフが入った動画（最大5分・100MB）をアップロードしてください。ElevenLabs Scribeが自動で文字起こしを行い、元の言語を自動検出し、最大4人の話者を聞き分け、それぞれの声が男性か女性かも判別します。その後、言語モデルが元の尺に合わせてセリフを翻訳するので、直訳ではなく、実際に人が話すような自然な言い回しになります。翻訳結果はセリフ単位のリストとして表示され、自由に編集可能です。セリフが長くなりすぎた場合は、その部分で話す速度が速くなる旨の警告が表示されます。
次に、話者ごとに声を選びます。「本人の声」を選ぶと、動画から話者本人の声をクローンし、新しい言語でもその人自身の声で話すようになります。もしくはElevenLabsのボイスライブラリから声を選ぶこともできます。Demucsがセリフと音楽・環境音を分離するため、新しい吹き替え音声は元のサウンドトラックの上に自然に重なり、動画全体で音量レベルも均一になります。
オプション機能も2つ用意しています。リップシンク（Sync Lipsync 2）は新しいセリフに合わせて口の動きを変化させる機能で、顔がはっきり映っている最大2分の動画に対応しています。字幕焼き込みでは翻訳文を映像に直接表示でき、SRTファイルも常にダウンロード可能です。
翻訳できる言語は18言語です：英語、スペイン語、フランス語、ドイツ語、イタリア語、ポルトガル語、ポーランド語、トルコ語、オランダ語、ロシア語、ウクライナ語、日本語、韓国語、中国語、アラビア語、ヒンディー語、インドネシア語、ベトナム語。なお、ウクライナ語・インドネシア語・ベトナム語は現時点ではライブラリ音声のみの対応です。クローンできる声は、自分自身の声か、本人の同意を得た声のみで、吹き替え前にその同意を確認していただきます。