ImageGPTImageGPT
教程阅读约 7 分钟

如何用 AI 给长视频翻译配音:最长 2.5 小时的讲座、课程和播客

我们把 NASA《Tour of the Moon》的前 2 分多钟做成了西班牙语旁白配音,从上传到获得 MP4 成片只用了 1 分多钟。来看看效果,以及如何用同样的方法翻译一整场讲座或一季播客。

一台老式电影放映机将月球影像投射到小屏幕上,旁边放着一支麦克风
目录

你最值得分享的视频,可能早就做好了:录制的工作坊、一节课程、一场长访谈,或上一季播客。过去,要让西班牙语、德语或日语观众看懂,你得准备逐字稿、找译者和配音演员,还得为每一集花一个下午用音频编辑器处理。

ImageGPT 的视频翻译工具现在有了专门处理长视频的模式。上传你自己的视频,时长可以从 1 分钟到 2.5 小时;检查译稿、选择声音,然后下载带有译文和原声的 MP4。每一步开始前,你都能看到所需积分。

先看看成片效果

我们选用了《Tour of the Moon》开头的 2 分 14 秒。这段月球上空的飞越画面由 NASA 的 Scientific Visualization Studio 根据 Lunar Reconnaissance Orbiter 的数据制作,并配有解说。NASA 视频属于公有领域,可以使用。我们上传视频,选择西班牙语和旁白配音模式,其余设置全部保持默认。

0:54
西班牙语旁白配音:英语解说的音量被压低,保留在下层,音乐不变。这里展示的是 2:14 视频的前 54 秒。视频来源:NASA 的 Scientific Visualization Studio。
0:54
同一段画面的英语原声。成片将它保留为第 2 条音轨。

AI 识别出 1 位说话人,把解说拆成 18 行,并按上下文连贯翻译,而不是逐字硬译:“Orientale basin”译成了“la cuenca Oriental”,LRO、Diviner 和 LOLA 等名称则保持不变。从上传到生成成片,只用了 1 分多钟。

成片 MP4 会原样保留你的视频画面,不会重新编码。文件中有 2 条音轨:默认播放的译文和原声,还附有两种语言的字幕。观众可以在 VLC 等播放器中切换音轨;你也可以下载 SRT 和 VTT 字幕文件,用于 YouTube 或你的课程平台。

可以翻译哪些内容

只能翻译你拥有或有权使用的内容,例如你自己制作的视频和频道节目、课程与线上研讨会、访谈、播客,以及你持有授权的纪录片。开始处理前,你需要勾选复选框确认这一点。不属于你的电影和电视剧不能上传翻译。

  • 视频时长为 1 分钟至 2.5 小时,文件最大 6 GB。
  • 支持 MP4、MOV、MKV 或 WEBM,视频编码为 H.264、H.265、AV1 或 VP9。如果文件使用其他编码,请先用免费的视频转换工具转成 MP4。
  • 支持 18 种语言任意互译:英语、西班牙语、法语、德语、意大利语、葡萄牙语、波兰语、土耳其语、荷兰语、乌克兰语、俄语、日语、韩语、中文、阿拉伯语、印地语、印度尼西亚语和越南语。
  • 人声清晰时,转录效果最好。如果音乐盖过人声,或多人同时说话,你可能需要在脚本里修改更多行。

一步一步来

  1. 打开视频翻译工具,切换到“电影、讲座、单集节目——最长 2.5 小时”。
  2. 选择一个项目:新建项目;如果是下一节课或下一集,就选择已有项目。选好目标语言,原语言保持“自动检测”。
  3. 选择输出方式:旁白配音、完整配音或仅字幕。如果选旁白配音,再选择声音:1 位旁白、为每位说话人匹配男声或女声,或为每个角色分别选声音。
  4. 上传文件,或粘贴文件链接。大文件会分段上传;如果网络中断,重新选择同一个文件,就能从中断处继续。
  5. 确认你拥有视频使用权,然后点击“转录并翻译”。按钮上会显示所需积分。
  6. 检查说话人列表、术语表和脚本。每一行都有原声和译文的播放按钮,也都可以编辑。
  7. 翻译长视频时,先点击“试听前……分钟”:它只会为开头配音,试听范围最多延伸到首行之后 2 分钟,让你在为剩余部分付费前听听声音效果。
  8. 点击“为整段视频配音”,然后点击“下载视频”;如果需要字幕,再点击“字幕”。

所有处理都在我们的服务器上进行,所以你可以关掉网页,之后回来查看进度条和剩余时间。如果中途停止渲染,尚未配音部分的积分会退回。成片也会保存到“我的作品”。

选旁白配音、完整配音,还是仅字幕?

模式观众听到的内容适合场景
旁白配音压低音量的原声,上面叠加旁白讲座、访谈、纪录片——带配音的方案中最快、最省积分的选择
完整配音替换原本的人声,保留音乐和音效希望观众感觉不到原片使用过其他语言的节目和测评
仅字幕保留原声,配上两种语言的字幕发布字幕、手动翻译,或制作静音自动播放的信息流视频

完整配音会用 Demucs 将人声与音乐、音效分离,再把新配音叠加到原背景声上。每个角色都可以使用预设声音、你为某个角色保存的声音,或选择“视频中的原声”——复制该说话人自己的声音,让其说出新语言。只能复制你自己的声音,或已获得本人同意的声音;你需要另行勾选复选框确认。目前乌克兰语、印度尼西亚语和越南语还不能使用声音复制,因此会改用预设声音。

翻译整套课程或一整季播客

把同一系列的所有单集放进一个项目。项目会记住说话人阵容和他们的声音:最多可为 12 位说话人命名,其余人归入“其他男性”和“其他女性”;项目还会保存人名与术语表。到了下一集,AI 会通过声音认出再次出现的说话人,让你的搭档在第 1 课和第 10 课听起来保持一致。

做完第 1 集后,记得完善术语表。如果烹饪课程里的“fold in”被译成了两种说法,就把这个词和你想要的译法加入术语表,再点击“重新翻译”:系统只会重新处理译文,你手动修改过的行会保持不变。

需要多少积分

积分按步骤扣除。上传后会收取转录和翻译的积分;检查完脚本后,才会收取配音的积分。具体用量取决于视频时长和说话内容的多少,每个按钮都会显示准确的积分数。下面是讲话内容较多的视频的大致用量:

输出方式10 分钟1 小时
旁白配音约 90 积分约 532 积分
完整配音约 143 积分约 847 积分
仅字幕约 19 积分约 111 积分

我们那段 2 分钟的 NASA 视频用了约 20 积分,已包含转录。视频里如果有较长的停顿或纯音乐片段,所需积分会更少,因为只有说话的行需要配音。之后只修改某一行,也只需为那一行付费;重新生成视频时,只会重新合成改动过的部分。

短于 5 分钟的片段仍使用同一工具的常规模式,支持口型同步和内嵌字幕。如果想给 Reel 或 Short 制作动态字幕,请使用“自动字幕”。

上传你自己的视频,最长支持 2.5 小时。扣除任何积分前,你就能看到转录和翻译需要多少积分。

翻译视频
亲自试试

几分钟内试遍文中所有玩法

文中的所有模型和工具都在同一个平台。注册即送 6 个免费积分,每次生成前都会显示价格。

翻译视频

延伸阅读