过去要给视频配音,需要翻译、配音演员和剪辑师三方协作。现在AI一次性完成这三项工作,而且在配音之前你可以先检查翻译内容。
上传一段带语音的视频,最长5分钟、最大100 MB。ElevenLabs Scribe会自动转录语音并识别源语言,区分最多4位说话者,并判断每个人的声音是男声还是女声。接着,语言模型会把每句台词翻译成适合原时长的表达,读起来像人说的话,而不是生硬的逐字翻译。你会得到一份按行划分的脚本:可以编辑其中任意一行,如果某一行翻译后变长,编辑器会提示你该处的语速将会加快。
接下来,为每位说话者选择一个声音。“原声”会直接从视频中克隆该说话者的声音,让他们用自己的声音说出新的语言;你也可以从ElevenLabs音色库中选择一个声音。Demucs会把语音从音乐和背景噪音中分离出来,这样新的配音会叠加在原始配乐之上,并且整段视频的语音音量会保持一致。
另外还有两个可选功能。唇形同步(Sync Lipsync 2)会调整口型,使其匹配新的语音内容,适用于最长2分钟、人脸清晰入镜的视频。内嵌字幕可以把译文直接显示在画面上,同时始终可以下载对应的SRT字幕文件。
目前支持翻译成18种语言:英语、西班牙语、法语、德语、意大利语、葡萄牙语、波兰语、土耳其语、荷兰语、俄语、乌克兰语、日语、韩语、中文、阿拉伯语、印地语、印度尼西亚语和越南语。乌克兰语、印度尼西亚语和越南语目前使用音色库中的声音。你只能克隆自己的声音,或经本人同意的他人声音,并需要在配音前进行确认。