영상 더빙에는 원래 번역가, 성우, 편집자가 각각 필요했습니다. 이제 AI가 이 세 가지 역할을 모두 수행하며, 더빙 전에 번역을 직접 확인할 수 있습니다.
대사가 있는 영상을 최대 5분, 100MB까지 업로드하세요. ElevenLabs Scribe가 음성을 자동으로 텍스트로 변환하고 원본 언어를 자동 감지하며, 최대 4명의 화자를 구분하고 각 화자가 남성인지 여성인지도 파악합니다. 이후 언어 모델이 원본과 같은 시간 안에 들어맞도록 각 대사를 번역하므로, 단순 직역이 아니라 실제로 사람이 말할 법한 자연스러운 문장이 됩니다. 결과물은 대사 목록 형태로 제공되며, 원하는 줄을 자유롭게 수정할 수 있고, 수정한 대사가 너무 길어지면 편집기가 해당 구간의 말하기 속도가 빨라진다고 미리 알려줍니다.
다음으로 화자별 목소리를 선택하세요. '본인 목소리'를 선택하면 영상 속 화자의 목소리를 그대로 복제해, 새로운 언어로도 자신의 목소리로 말하게 됩니다. 또는 ElevenLabs 라이브러리에서 다른 목소리를 고를 수도 있습니다. Demucs가 대사와 음악·배경음을 분리해 주기 때문에 새 더빙 음성이 원본 사운드트랙 위에 자연스럽게 얹히고, 영상 전반에 걸쳐 음성 레벨도 고르게 조정됩니다.
선택 가능한 추가 기능도 두 가지 있습니다. 립싱크(Sync Lipsync 2)는 새 대사에 맞춰 입 모양을 재구성해 주며, 얼굴이 뚜렷하게 보이는 최대 2분 길이의 영상에 사용할 수 있습니다. 자막 입히기는 번역문을 화면에 바로 새겨 넣으며, SRT 파일은 언제나 별도로 다운로드할 수 있습니다.
번역 가능한 언어는 총 18개로, 영어, 스페인어, 프랑스어, 독일어, 이탈리아어, 포르투갈어, 폴란드어, 터키어, 네덜란드어, 러시아어, 우크라이나어, 일본어, 한국어, 중국어, 아랍어, 힌디어, 인도네시아어, 베트남어입니다. 우크라이나어, 인도네시아어, 베트남어는 현재는 라이브러리 목소리만 지원됩니다. 목소리 복제는 본인 목소리이거나 동의를 받은 사람의 목소리만 가능하며, 더빙 전 이 사항에 동의해야 합니다.