BeatViz Workflow のミュージックビデオに AI Lip Sync を付ける

Lip Sync は、見えるキャラクターの口の動きを、対応する音声区間に合わせます。BeatViz Workflow では、Lip Sync は 個別に生成したシーンクリップ に対して行われ、Editor のようなタイムラインではありません。

方法 1：Singing の自動 Lip Sync

タスクを始める前に、Content Mode で Singing (Beta) を選びます。Singing はボーカル寄りの分析経路を使い、歌詞のタイミングを拾えます。ストーリーラインを確定し、ファーストフレームを確認し、シーン動画を生成したあと、ベースクリップができたら Workflow が自動 Lip Sync の段階を実行します。

Generate All Videos を選ぶと、必要な Credits には 動画生成と Singing の Lip Sync の両方 が含まれます。その段階の処理中、シーンカードは Syncing lips と表示できます。完了すると、シーンプレビューは Lip Sync 済みの動画を使います。Lip Sync が失敗すると、タスクの失敗と Credits のルールのもとで再試行できます。

重要： Singing は Beta の選択肢です。選んでも、すべての角度や顔で口の動きが完璧になる約束ではありません。

方法 2：ほかの Content Mode での手動 Lip Sync

Storytelling、Dancing、Abstract では、シーンのベース動画の生成完了を待ちます。そのあとシーンカードに Lip Sync が出ます。選ぶと、選んだ曲音声の対応部分を使ってそのシーンを処理します。最初の動画生成の消費とは別の、課金される操作です。

処理中、カードの Lip Sync 操作はロックされ、繰り返し送信を防ぎます。すでに成功して処理済みのシーンは、同じ完了した操作では再度消費されません。

現在の Workflow Lip Sync 費用

Lip Sync は 1 秒あたり 20 Credits です。端数の長さは、製品の課金ルールに従って切り上げます。例：

画面が長さのティアを出すときは、短い端数も対応するティアで課金されることがあります。送る前に表示された消費を確認してください。残高が少ないと、ジョブは始まらず料金画面が開きます。

役立つ結果になりやすくするコツ

• 意図した人がはっきり写ったファーストフレームを使う。
• 見える歌唱が大切なら、顔がはっきり出るシーンを優先する。
• 曲の区間が、意図したボーカルの瞬間と合うかを確認する。
• 最終の Compose へ進む前に、Lip Sync 済みクリップを点検する。

これらは実務的な提案であり、完璧な出力の保証ではありません。シーンの選び方とモデルの挙動は、結果に影響します。

Workflow の Lip Sync と Editor の Lip Sync

Workflow の Lip Sync はシーンカードに付き、クリップに対応する音声区間を使います。Editor タイムラインの 1× 再生、最短 0.5 秒クリップ、タイムライン末尾の制約は 使いません。 Editor 固有の Lip Sync 手順を Workflow に当てはめないでください。

よくある質問

Storytelling のシーンに Lip Sync できますか？

はい。動画生成が終わったあと、そのシーンの Lip Sync ボタンを使います。

Singing は Lip Sync を 2 回消費しますか？

Singing は、動画生成の段階で Lip Sync Credits を含めます。自動の段階を、追加の手動ボタン消費として扱わないでください。

クリップ生成前に Lip Sync は使えますか？

手動の Lip Sync 操作には、完成した動画クリップが必要です。Singing は、ベース動画の生成後に自動パスを実行します。

続きを学ぶ： ← 前へ：キャラクターの見た目を揃える · 次へ：Credits と費用 →

BeatViz Workflow を開く