BeatViz Workflow 2.0 の Music Analysis と Captions の仕組み

Music Analysis は Start Creating のあとの最初のワークスペースステップです。BeatViz はトリムした曲を聞き、開始と終了の時間が付いた歌詞行の Captions 表を埋めます。その表を確認してから Generate Scenes を選び、storyboard を作ります。

このステップでは keyframe も動画も作りません。分析の 2 credits は、タスク作成時にすでに課金されています。

Music Analysis がすること

音声があり、保存済みの分析がない新しい Studio タスクでは、分析は自動で始まります。実行中は波形と caption 行が読み込み状態になり、そのあと行が順に現れます。

各 caption 行には次があります。

  • Start と End の時間(分と秒)
  • Lyrics のテキスト

意味、感情、内部の歌詞グループはエンジン側に残ります。編集する表は Start / End / Lyrics だけです。

同じツールバーで Aspect Ratio、Video Concept、Visual Style、Characters をタスクと揃えておけます。これらの設定はシーン生成時に使われ、音声の再分析には使いません。

Captions 表の読み方

行の再生ボタンでその行から再生します。再生中は表と波形の両方で、いまの行がハイライトされます。時間欄や歌詞をクリックしても再生は始まりません。

波形でシークします。一時停止したシークは自動再生しません。

シーンを生成する前に行を通して読んでください。Captions は storyboard がショットをどれだけ細かく計画できるかを左右します。歌詞行が多い曲は、まばらなインスト区間よりシーンが増えることがあります。

Music Analysis の波形と、Start、End、Lyrics の列がある Captions 表
Captions 表から歌詞の 1 行を再生します。この表での時間とテキストの編集は保存されません。

歌詞の時間を編集する

Start または End の値をクリックして m:ss を編集します。±1 秒 ずつ動かすか、Shift を押したまま ±10 秒 です。隣の行は重なれません。ある行は前の行の終了より前に始められず、次の行の開始よりあとに終われません。

終了が開始と同じかそれより前になると、表は終了を開始の少なくとも 1 秒あとに伸ばします。

表の中の歌詞テキストと時間の編集は、いま見ている画面だけです。 シーン生成に使う保存済み分析には書き戻りません。時間が明らかに違うときは確認用として使い、storyboard ができてからクリップ説明に意図したタイミングを書くか、歌詞を取り直したいときだけ分析を再試行してください。

分析を再試行する

歌詞が空、または明らかに違うときは force で再試行します。再試行は Music Analysis を再度課金し(2 credits)、caption 一式を置き換えます。

すでに歌詞があるタスクを開くとその分析を再利用します。新しいモデル呼び出しはなく、追加の 2 credits もなく、タスクの状態も変わりません。

Generate Scenes

captions が使えそうなら Generate Scenes(12 credits)を選びます。このボタンで Storyboard ステップが始まります。最初のボードの前後でも、Storyboard ツールバーでコンセプト、スタイル、キャラクターを変えられます。

Music Analysis は飛ばせません。分析に歌詞があるまで Storyboard はロックされたままです。

Generate Scenes がある Music Analysis ツールバー
Captions が使えそうになったら、Generate Scenes で Storyboard を始めます。

よくある質問

caption の編集は永続保存されますか?

されません。Captions 表の開始、終了、歌詞の編集は、Storyboard が読む分析 JSON には残りません。確認用の画面だと考えてください。

前の歌詞が再利用されたのはなぜ?

タスクを開き直す、または force なしでシーンを生成すると、完了した分析を再利用するので再課金されません。新しい歌詞パスが欲しいときだけ retry / force を使ってください。

Music Analysis を飛ばせますか?

できません。Generate Scenes には完了した分析が必要です。分析が失敗したら、先に再試行してください。


続きを学ぶ: ← 前へ:コンセプト、スタイル、キャラクター · 次へ:Storyboard のシーンとクリップ →

BeatViz Workflow を開く

BeatViz Workflow 2.0 を試す

曲をアップロードし、Studio Create · 2.0 を選び、Music Analysis、Storyboard、Keyframe、MiniMax クリップの順に進めます。

Workflow 2.0 の Music Analysis と歌詞 Captions | BeatViz