Onderzoekers van NVIDIA Research hebben een doorbraak geïntroduceerd in het genereren van video’s op basis van tekstuele instructies door gebruikers in staat te stellen het traject en het gedrag van objecten in de gesynthetiseerde video’s te controleren. Deze innovatieve aanpak biedt een interface op hoog niveau waarbij gebruikers de positie van een object op verschillende punten in de video kunnen bepalen door begrensde vakken (bboxes) en bijbehorende tekstinstructies te verstrekken.
Door ruimtelijke en temporale aandachtskaarten tijdens de initiële stappen van het ruisverminderingsproces aan te passen, kunnen gebruikers de activatie concentreren op de gewenste locatie van het object. Belangrijk is dat deze aanpak de geleerde tekst-afbeeldingsassociatie niet verstoort en minimale codeaanpassingen vereist.
Een van de belangrijkste functies van deze nieuwe methode is de mogelijkheid om keyframes te maken van het begrensde vak, waardoor gebruikers de grootte en perspectieve effecten van het object kunnen controleren. Daarnaast stelt het keyframen van de tekstinstructie gebruikers in staat het gedrag van het onderwerp in de gesynthetiseerde video te beïnvloeden.
Deze intuïtieve aanpak biedt casual gebruikers een naadloze videoverhaaltool waarmee ze het traject en gedrag van het onderwerp in de loop van de tijd kunnen aanpassen. Door het gesynthetiseerde onderwerp in een gespecificeerde omgeving te integreren, kunnen gebruikers natuurlijke resultaten creëren, waaronder perspectieveffecten, nauwkeurige objectbeweging en interacties tussen objecten en hun omgeving.
Het beste is dat deze methode rekenkundig efficiënt is en geen modelfinetuning, training of online optimalisatie vereist. Door gebruik te maken van de kracht van het onderliggende diffusiemodel produceert het hoogwaardige resultaten met minimale inspanning van de gebruiker.
Hoewel deze aanpak significante vooruitgang betekent in het controleren van objecttrajecten in gesynthetiseerde video’s, zijn er nog steeds uitdagingen, zoals het genereren van nauwkeurige kenmerken voor meerdere objecten of vervormde objecten. Desalniettemin blijven de onderzoekers werken aan het verfijnen van de methode om deze beperkingen te overwinnen en de gebruikerservaring te verbeteren.
Dit baanbrekende onderzoek opent nieuwe mogelijkheden in videogeneratie, waardoor casual gebruikers met gemak dynamische en boeiende video’s kunnen maken. Om meer te weten te komen over dit onderzoek, bekijk het artikel en het project van de onderzoekers bij NVIDIA Research.
The source of the article is from the blog enp.gr