如何在 BeatViz Workflow 音乐视频里加 AI Lip Sync

Lip Sync 让可见角色的嘴型对上对应的音频区间。在 BeatViz Workflow 里,Lip Sync 做在已经生成的单个场景片段上,不是 Editor 那种时间轴。

方式 1:用 Singing 自动做 Lip Sync

开始任务之前,在 Content Mode 下选 Singing (Beta)。Singing 走偏人声的分析路径,可以识别歌词时间点。确认故事线、检查首帧并生成场景视频之后,基础片段一做好,Workflow 就会跑自动 Lip Sync 这一步。

你选 Generate All Videos 时,Credits 要求里同时包括视频生成和 Singing 的 Lip Sync。这一步处理时,场景卡片可能显示 Syncing lips。完成后,场景预览用的是做完嘴型的视频。如果 Lip Sync 失败,可以按任务的失败和 Credits 规则重试。

重要: Singing 是 Beta 选项,选了它并不保证每个角度、每张脸的嘴型都完美。

Singing 会在视频生成之后自动做 Lip Sync。其他 Content Mode 可以手动加。

方式 2:其他 Content Mode 手动做 Lip Sync

Storytelling、Dancing 和 Abstract 要等该场景的基础视频生成完成。然后场景卡片会提供 Lip Sync。选它,就会用你选中歌曲里对应的那一段来处理这个场景。这是另一次扣费操作,不算在最初的视频生成费用里。

处理过程中,卡片上的 Lip Sync 控件会锁住,避免重复提交。已经成功处理过的场景,不会因为同一次已完成的操作再扣一次费。

当前 Workflow 的 Lip Sync 费用

Lip Sync 是每秒 20 Credits,不足一秒会按产品计费规则向上取整。例如:

片段时长Lip Sync Credits
5 秒100
8 秒160
10 秒200
15 秒300

界面给出时长档位时,更短的不足整段时长,也可能按对应档位计费;提交前看清楚显示的费用。余额不够时,会打开价格界面,而不是开始任务。

怎样提高结果更有用的机会

  • 用一张清楚的首帧,让你要的人在画面里。
  • 看得见演唱很重要时,优先选脸部清楚的场景。
  • 确认歌曲区间对上你想要的人声瞬间。
  • 进最终合成之前,先看做完嘴型的片段。

这些是实用建议,不是完美成片的保证。场景选择和模型表现仍会影响结果。

Workflow Lip Sync 和 Editor Lip Sync

Workflow 的 Lip Sync 挂在场景卡片上,用的是该片段对应的音频区间。它不用 Editor 时间轴的 1× 播放、最短 0.5 秒片段,或时间轴结尾限制。不要把 Editor 专用的 Lip Sync 说明套到 Workflow 上。

常见问题

可以给 Storytelling 场景做 Lip Sync 吗?

可以。视频生成完成之后,用该场景的 Lip Sync 按钮。

Singing 会把 Lip Sync 扣两次吗?

Singing 在视频生成阶段就已经包含 Lip Sync Credits。不要把自动这一步当成再点一次手动按钮的额外扣费。

片段生成之前就能做 Lip Sync 吗?

手动 Lip Sync 需要已经完成的视频片段。Singing 会在生成基础视频之后,再跑自动这一遍。


接着看: ← 上一篇:保持角色一致 · 下一篇:Credits 和费用 →

打开 BeatViz Workflow

试试 BeatViz Workflow

上传一首歌,选好 Content Mode,让 Workflow 帮你规划场景、首帧和片段。

如何给音乐视频片段加 AI Lip Sync | BeatViz