如何在 BeatViz Workflow 為音樂影片加上 AI Lip Sync

Lip Sync 讓看得見的角色嘴部動作,對上對應的音訊區段。在 BeatViz Workflow 裡,Lip Sync 是做在個別已生成的場景片段上,不是 Editor 那種時間軸。

做法 1:用 Singing 自動 Lip Sync

開始任務之前,在 Content Mode 選 Singing (Beta)。Singing 走偏人聲的分析路徑,可以辨識歌詞時間。你確認故事線、檢查第一幀並生成場景影片之後,底層片段生成完,Workflow 會跑自動 Lip Sync 階段。

你選 Generate All Videos 時,需要的 Credits 包含影片生成和 Singing Lip Sync。這個階段處理時,場景卡片可以顯示 Syncing lips。完成後,場景預覽用的是做過 Lip Sync 的影片。Lip Sync 失敗時,可以依這份任務的失敗和 Credits 規則重試。

重要: Singing 是 Beta 選項,選了它並不保證每個角度或每張臉的嘴部動作都完美。

Singing 會在影片生成後自動做 Lip Sync。其他 Content Mode 可以手動加上。

做法 2:其他 Content Mode 的手動 Lip Sync

對 Storytelling、Dancing 和 Abstract,等該場底層影片生成結束。場景卡片接著會提供 Lip Sync。選它,用你選的歌曲音訊裡對應的那一段處理這一場。這是另一次扣費操作,不是一開始影片生成費用的一部分。

處理期間,卡片的 Lip Sync 控制會鎖住,避免重複送出。已經成功處理過的場景,同一個完成的操作不會再扣一次。

目前 Workflow 的 Lip Sync 費用

Lip Sync 是每秒 20 Credits,不足一秒會依產品計費規則向上取整。例子:

片段時長Lip Sync Credits
5 秒100
8 秒160
10 秒200
15 秒300

介面呈現時長層級時,比較短的不完整時長可能依對應層級計費;送出前請看顯示的費用。餘額不夠會打開價格介面,而不是開始工作。

如何提高結果有用的機會

  • 用清楚的第一幀,讓預期的人看得見。
  • 看得見的演唱很重要時,優先選臉清楚呈現的場景。
  • 確認歌曲區段對上預期的人聲時刻。
  • 進到最終合成之前,先檢查做過 Lip Sync 的片段。

這些是實用建議,不是完美輸出的保證。場景選擇和模型行為仍會影響結果。

Workflow Lip Sync 與 Editor Lip Sync

Workflow 的 Lip Sync 附在場景卡片上,用的是該片段對應的音訊區段。它沒有用 Editor 時間軸的 1× 播放、最短 0.5 秒片段,或時間軸結尾限制。不要把 Editor 專用的 Lip Sync 說明套到 Workflow。

常見問題

可以幫 Storytelling 場景做 Lip Sync 嗎?

可以。影片生成完成後,用該場的 Lip Sync 按鈕。

Singing 會扣兩次 Lip Sync 嗎?

Singing 在影片生成階段就包含 Lip Sync Credits。不要把自動階段當成額外的手動按鈕費用。

片段生成之前就能做 Lip Sync 嗎?

手動 Lip Sync 需要完成的影片片段。Singing 是在生成底層影片之後跑自動那一輪。


繼續閱讀: ← 上一篇:保持角色一致 · 下一篇:Credits 與費用 →

開啟 BeatViz Workflow

試用 BeatViz Workflow

上傳一首歌、選擇 Content Mode,讓 Workflow 幫你規劃場景、第一幀和片段。

如何為音樂影片片段加上 AI Lip Sync | BeatViz