वीडियो डब करने के लिए पहले एक ट्रांसलेटर, एक वॉइस आर्टिस्ट और एक एडिटर चाहिए होता था। यहाँ AI तीनों काम खुद करता है, और वॉइसओवर होने से पहले आप ट्रांसलेशन चेक कर लेते हैं।
बोली गई बात वाला वीडियो अपलोड करें, अधिकतम 5 मिनट और 100 MB। ElevenLabs Scribe उसे ट्रांसक्राइब करता है, सोर्स भाषा खुद पहचानता है, 4 स्पीकर तक को अलग-अलग पहचानता है और हर एक की आवाज़ पुरुष है या महिला, यह भी तय करता है। इसके बाद एक लैंग्वेज मॉडल हर लाइन को इस तरह ट्रांसलेट करता है कि वह ओरिजिनल में मिले समय में फिट बैठे, ताकि सुनने में शब्द-दर-शब्द अनुवाद जैसा नहीं बल्कि सच में किसी इंसान के बोलने जैसा लगे। आपको स्क्रिप्ट लाइनों की लिस्ट के रूप में मिलती है: किसी भी लाइन को एडिट करें, और अगर कोई लाइन लंबी हो जाती है, तो एडिटर आपको बता देता है कि वहाँ बोलने की रफ्तार थोड़ी तेज़ हो जाएगी।
इसके बाद, हर स्पीकर के लिए एक आवाज़ चुनें। “अपनी आवाज़” वीडियो से ही स्पीकर की आवाज़ क्लोन करती है, जिससे वह नई भाषा में भी अपनी ही आवाज़ में बोलता है। या फिर ElevenLabs लाइब्रेरी में से कोई आवाज़ चुनें। Demucs बोली गई बात को म्यूज़िक और बैकग्राउंड नॉइज़ से अलग करता है, जिससे नया वॉइसओवर ओरिजिनल साउंडट्रैक के ऊपर फिट बैठता है और पूरे वीडियो में बोलने की आवाज़ का लेवल एक जैसा रहता है।
दो अतिरिक्त फीचर ऑप्शनल हैं। लिप सिंक (Sync Lipsync 2) होंठों की हरकत को नई बोली गई बात के साथ मैच कराता है, उन वीडियो के लिए जो 2 मिनट तक हों और जिनमें चेहरे साफ़ दिखें। बर्न-इन सबटाइटल ट्रांसलेशन को स्क्रीन पर दिखाते हैं, और SRT फ़ाइल डाउनलोड करने के लिए हमेशा उपलब्ध रहती है।
आप 18 भाषाओं में ट्रांसलेट कर सकते हैं: अंग्रेज़ी, स्पैनिश, फ़्रेंच, जर्मन, इटैलियन, पुर्तगाली, पोलिश, तुर्किश, डच, रूसी, यूक्रेनियन, जापानी, कोरियाई, चीनी, अरबी, हिंदी, इंडोनेशियाई और वियतनामी। यूक्रेनियन, इंडोनेशियाई और वियतनामी के लिए फ़िलहाल लाइब्रेरी वॉइस का इस्तेमाल होता है। आप सिर्फ़ अपनी आवाज़ या किसी ऐसे व्यक्ति की आवाज़ क्लोन कर सकते हैं जिसने इसके लिए सहमति दी हो, और डबिंग शुरू करने से पहले आपको इसकी पुष्टि करनी होती है।