Workflow 2.0 クリップでリップシンクを使う

Workflow 2.0 のリップシンクは 動画生成時のクリップ単位スイッチ で、デフォルトはオンです。オンなら MiniMax がそのクリップの曲音声を受け取り、口がボーカルに合わせられます。オフなら画像とプロンプトだけです。

これは Workflow 1.0 の後処理 Lip Sync でも Editor LipSync でもありません。Studio は、すでにできた動画のあとでもう一度課金される対口型パスを走りません。

クリップごとにリップシンクをオン/オフする

Keyframe では、各タイルの右上にマイクがあります。

  • 明るいマイク — そのクリップのリップシンクはオン。
  • 暗いマイク — そのクリップのリップシンクはオフ。

マイクをクリックして切り替えます。同じスイッチは Keyframe インスペクタの Generate Clip の上、Video ステップのクリップエディタ Video タブの Generate / Regenerate の上にもあります。

広角、B-roll、口を合わせたくないショットはオフ。画面で歌っているときはオンのまま。

設定はクリップごとに保存されます。Generate Videos と Generate / Generate Clip は、そのクリップ自身のスイッチに従います。

リップシンク
リップシンク

オンのときに起きること

もともとの MiniMax 経路です。

  1. Studio がこのクリップの時間窓で曲を切り出します(Cloud Run)。
  2. MiniMax プロンプトに Audio 1 ブロックが入ります。サウンドトラックは変えず、歌声があるときだけリップシンクし、ないときは口を自然に閉じます。
  3. 切り出したクリップ音声が reference_audio_urls として Fal MiniMax H3 Max ジョブに送られます。
リップシンク
リップシンク

オフのときに起きること

  • Audio 1 / リップシンク用プロンプトは 入りません。
  • Cloud Run はクリップ音声を 切り出しません。
  • Fal リクエストに reference_audio_urls は ありません。

クリップは opening keyframe を Image 1 にし、キャラクター参照も使います。動画 Credits は変わりません。

Workflow 2.0 と 1.0、Editor のちがい

経路リップシンクの動き
Workflow 2.0MiniMax 生成時のクリップスイッチ。オンで音声を送る。オフで送らない。追加 Credits なし。
Workflow 1.0Singing はベースクリップのあと課金パスを走らせられます。他の Content Mode にはシーンカードの Lip Sync ボタンがあります。
Editor完成クリップに対するタイムライン LipSync。秒課金、最大 15 秒。

書き出しのサウンドトラックは選んだ原曲のままです。MiniMax が作った音声ではありません。動画を書き出す を参照。

よくある質問

リップシンクをオフにすると動画 Credits は減りますか?

いいえ。MiniMax は 768P(20 credits/秒)または 1080P(40 credits/秒)の整数クリップ秒数で課金されます。スイッチは音声を切って送るかどうかだけです。

すでに生成したクリップでも変えられますか?

はい。マイクか Video タブのスイッチを切り替え、そのクリップを Generate / Regenerate してください。新しいジョブが新しい設定に従います。履歴の Replace は MiniMax を再実行しません。

Workflow 1.0 の Singing と同じですか?

違います。Studio に Content Mode はなく、できた動画のあとに第二の対口型モデルも走りません。その経路は Workflow 1.0 Singing か Editor LipSync です。


続きを学ぶ: ← 前へ:動画クリップを生成する · 次へ:画面またはクリップを再生成する →

BeatViz Workflow を開く

BeatViz Workflow 2.0 を試す

曲をアップロードし、Studio Create · 2.0 を選び、Music Analysis、Storyboard、Keyframe、MiniMax クリップの順に進めます。

Workflow 2.0 リップシンク:クリップ音声を MiniMax へ | BeatViz