Zo voeg je AI-lip-sync toe aan een muziekvideo in BeatViz Workflow

Lip sync laat de mondbeweging van een zichtbaar personage aansluiten op het bijbehorende audiofragment. In BeatViz Workflow gebeurt lip sync op losse gegenereerde scèneclips, niet op een Editor-tijdlijn.

Optie 1: Automatische lip sync met Singing

Kies Singing (Beta) onder Content Mode voordat je de taak start. Singing gebruikt een zanggericht analysepad en kan lyric-timings herkennen. Nadat je de verhaallijn bevestigt, inspecteer je de eerste beelden en genereer je de scènevideo's; Workflow voert de automatische lip-sync-fase uit zodra de basisclips zijn gegenereerd.

Als je Generate All Videos kiest, bevat de creditvereiste zowel videogeneratie als Singing-lip-sync. De scènekaart kan Syncing lips tonen terwijl die fase loopt. Daarna gebruikt de scènepreview de lip-gesynchroniseerde video. Als lip sync mislukt, is een nieuwe poging beschikbaar volgens de faal- en creditregels van de taak.

Belangrijk: Singing is een Beta-optie, en het kiezen ervan belooft geen foutloze mondbeweging voor elke hoek of elk gezicht.

Optie 2: Handmatige lip sync bij andere Content Modes

Voor Storytelling, Dancing en Abstract wacht je tot de basisvideo van de scène klaar is. De scènekaart biedt daarna Lip Sync. Selecteer dat om die scène te verwerken met het bijpassende deel van je geselecteerde nummeraudio. Dit is een aparte betaalde actie, geen onderdeel van de eerste video-afschrijving.

Tijdens verwerking is de lip-sync-bediening van de kaart vergrendeld om herhaald versturen te voorkomen. Een scène die al succesvol is verwerkt, wordt niet opnieuw afgerekend voor dezelfde voltooide actie.

Huidige Workflow-lip-sync-kosten

Lip sync kost 20 credits per seconde, waarbij fractionele duren volgens de afrekenregels van het product naar boven worden afgerond. Voorbeelden:

Als de interface een duur-tier toont, kunnen kortere deelduren volgens die tier worden afgerekend; controleer de getoonde kosten voordat je verstuurt. Een te laag saldo opent de prijsinterface in plaats van de opdracht te starten.

Zo vergroot je de kans op bruikbare resultaten

• Gebruik een duidelijk first frame waarop de bedoelde persoon zichtbaar is.
• Kies scènes waarin het gezicht duidelijk in beeld is als zichtbare zang belangrijk is.
• Controleer dat het nummerfragment bij het bedoelde zangmoment past.
• Bekijk de lip-gesynchroniseerde clip voordat je naar de definitieve samenstelling gaat.

Dit zijn praktische tips, geen garantie op perfecte output. Scènekeuze en modelgedrag beïnvloeden het resultaat nog steeds.

Workflow Lip Sync vs. Editor Lip Sync

De lip sync van Workflow hangt aan scènekaarten en gebruikt het bij de clip horende audiofragment. Het gebruikt niet de 1×-weergave van de Editor-tijdlijn, de minimale clip van 0,5 seconde of de tijdlijn-einde-beperkingen. Pas Editor-specifieke lip-sync-instructies niet toe op Workflow.

Veelgestelde vragen

Kan ik een Storytelling-scène lip-syncen?

Ja. Gebruik de knop Lip Sync van die scène nadat de videogeneratie klaar is.

Schrijft Singing lip sync twee keer af?

Singing bevat lip-sync-credits in de videogeneratiefase. Behandel de automatische fase niet als een extra handmatige knopafschrijving.

Is lip sync beschikbaar voordat de clip genereert?

De handmatige Lip Sync-actie vereist een afgewerkte videoclip. Singing voert zijn automatische pass uit na het genereren van de basisvideo.

Verder lezen: ← Vorige: Personages consistent houden · Volgende: Credits en kosten →

Open BeatViz Workflow