Trước đây, lồng tiếng một video cần đến biên dịch viên, diễn viên lồng tiếng và dựng phim. Giờ đây AI đảm nhận cả ba việc đó, còn bạn chỉ cần kiểm tra bản dịch trước khi nó được đọc thành lời.
Tải lên video có lời thoại, tối đa 5 phút và 100 MB. ElevenLabs Scribe sẽ tự động phiên âm, nhận diện ngôn ngữ gốc, phân biệt tối đa bốn người nói và xác định giọng của mỗi người là nam hay nữ. Sau đó, một mô hình ngôn ngữ sẽ dịch từng câu sao cho vừa khít với thời lượng gốc, nghe tự nhiên như lời nói thật chứ không phải dịch máy móc từng từ. Bạn nhận được kịch bản dưới dạng danh sách các dòng thoại: có thể chỉnh sửa bất kỳ dòng nào, và nếu một dòng quá dài, trình soạn thảo sẽ cảnh báo rằng đoạn thoại đó sẽ bị tăng tốc.
Tiếp theo, chọn giọng cho từng người nói. “Giọng gốc” sẽ nhân bản giọng của chính người nói trong video, giúp họ nói ngôn ngữ mới bằng chính giọng của mình. Hoặc bạn có thể chọn một giọng khác từ thư viện ElevenLabs. Demucs tách lời thoại khỏi nhạc và tạp âm nền, nhờ đó phần lồng tiếng mới được hòa trên nền âm thanh gốc, với âm lượng lời thoại được cân bằng xuyên suốt video.
Có hai tính năng bổ sung tùy chọn. Đồng bộ khẩu hình (Sync Lipsync 2) điều chỉnh chuyển động môi khớp với lời thoại mới, áp dụng cho video tối đa 2 phút có khuôn mặt rõ trong khung hình. Phụ đề gắn cứng hiển thị bản dịch trực tiếp trên màn hình, và bạn luôn có thể tải file SRT về.
Bạn có thể dịch sang 18 ngôn ngữ: Tiếng Anh, Tây Ban Nha, Pháp, Đức, Ý, Bồ Đào Nha, Ba Lan, Thổ Nhĩ Kỳ, Hà Lan, Nga, Ukraina, Nhật, Hàn, Trung, Ả Rập, Hindi, Indonesia và Việt. Tiếng Ukraina, Indonesia và Việt hiện dùng giọng từ thư viện. Bạn chỉ được phép nhân bản giọng của chính mình hoặc của người đã đồng ý, và bạn cần xác nhận điều này trước khi lồng tiếng.