Como adicionar Lip Sync com IA a um clipe no BeatViz Workflow

O lip sync combina o movimento da boca de um personagem visível com o trecho de áudio correspondente. No BeatViz Workflow, o lip sync é feito em clipes de cena gerados individuais, não em uma linha do tempo no estilo do Editor.

Opção 1: lip sync automático com Singing

Escolha Singing (Beta) em Content Mode antes de iniciar a tarefa. O Singing usa um caminho de análise orientado à voz e pode identificar os timings da letra. Depois que você confirma o roteiro, inspeciona os primeiros frames e gera os vídeos das cenas, o Workflow executa a etapa automática de lip sync assim que os clipes base são gerados.

Quando você seleciona Generate All Videos, o requisito de Credits inclui tanto a geração de vídeo quanto o lip sync do Singing. O card da cena pode mostrar Syncing lips enquanto essa etapa processa. Quando termina, a prévia da cena usa o vídeo com lip sync. Se o lip sync falhar, há uma nova tentativa segundo as regras de falha e Credits da tarefa.

Importante: Singing é uma opção Beta, e selecioná-la não promete movimento de boca perfeito em cada ângulo ou rosto.

Opção 2: lip sync manual com outros Content Modes

Em Storytelling, Dancing e Abstract, espere o vídeo base da cena terminar de gerar. O card da cena então oferece Lip Sync. Selecione para processar aquela cena usando a porção correspondente do áudio da música selecionada. É uma ação cobrada em separado, e não parte da cobrança inicial de geração de vídeo.

Durante o processamento, o controle de lip sync do card fica bloqueado para evitar envios repetidos. Uma cena já processada com sucesso não é cobrada de novo pela mesma ação concluída.

Custos atuais de lip sync no Workflow

O lip sync custa 20 Credits por segundo, com durações fracionárias arredondadas para cima segundo as regras de cobrança do produto. Exemplos:

Quando a interface apresenta um nível de duração, durações parciais mais curtas podem ser cobradas segundo o nível correspondente; confira a cobrança exibida antes de enviar. Um saldo baixo abre a interface de preços em vez de iniciar o trabalho.

Como melhorar as chances de um resultado útil

• Use um primeiro frame nítido com a pessoa pretendida visível.
• Favoreça cenas em que o rosto aparece com clareza quando o canto visível importa.
• Confira se o trecho da música combina com o momento vocal pretendido.
• Inspecione o clipe com lip sync antes de passar à composição final.

Estas são sugestões práticas, não uma garantia de resultado perfeito. A seleção da cena e o comportamento do modelo ainda afetam os resultados.

Lip Sync do Workflow vs Lip Sync do Editor

O lip sync do Workflow está ligado aos cards de cena e usa o trecho de áudio correspondente do clipe. Ele não usa a reprodução 1× da linha do tempo do Editor, o mínimo de clipe de 0,5 segundo nem as restrições de fim da linha do tempo. Não aplique ao Workflow as instruções de lip sync específicas do Editor.

Perguntas frequentes

Posso fazer lip sync de uma cena de Storytelling?

Sim. Use o botão Lip Sync daquela cena depois que a geração de vídeo terminar.

O Singing cobra o lip sync duas vezes?

O Singing inclui os Credits de lip sync na etapa de geração de vídeo. Não trate a etapa automática como uma cobrança extra de botão manual.

O lip sync está disponível antes de o clipe gerar?

A ação manual Lip Sync exige um clipe de vídeo pronto. O Singing executa a passagem automática depois de gerar o vídeo base.

Continue aprendendo: ← Anterior: Mantenha os personagens consistentes · Próximo: Credits e custos →

Abrir o BeatViz Workflow