Onderzoekers van Dyson Robotics Lab, Imperial College London en de Universiteit van Hong Kong hebben EscherNet geïntroduceerd, een baanbrekend multi-view geconditioneerd diffusie model voor schaalbare view synthesis. Dit innovatieve model maakt het mogelijk om scènes opnieuw te renderen vanuit diverse perspectieven, vergelijkbaar met het menselijk zicht, en biedt uitzonderlijke algemeenheid en schaalbaarheid in view synthesis.
Traditionele methoden voor het leren van neurale 3D-representaties waren sterk afhankelijk van waarheidsgetrouwe 3D-geometrie, wat hun toepasbaarheid beperkte tot kleinschalige synthetische 3D-gegevens. EscherNet daarentegen overwint deze beperking door impliciete 3D-representaties te leren met behulp van gespecialiseerde camera positionele codering (CaPE). Door de camera posities voor elke weergave nauwkeurig te coderen, faciliteert EscherNet het leren van relatieve cameratransformaties en behaalt het hoogwaardige resultaten door hoge-niveau semantiek en laag-niveau textuurdetails efficiënt te coderen vanuit referentiebeelden.
EscherNet integreert een 2D-diffusiemodel en camera positionele codering om willekeurige aantallen weergaven voor view synthesis te verwerken. Het maakt gebruik van Stable Diffusion v1.5 als basis en past zelfaandachtsblokken aan om consistente target-to-target consistentie over meerdere weergaven te waarborgen. Ondanks dat het is getraind met een vast aantal referentieweergaven, heeft EscherNet de mogelijkheid om meer dan 100 consistente doelweergaven te genereren op een enkele GPU. Deze vereniging van taken voor reconstructie van 3D-reconstructies met één en meerdere afbeeldingen maakt EscherNet een veelzijdige en krachtige tool voor verschillende toepassingen in 3D-visie.
EscherNet toont superieure prestaties bij meerdere taken. Bij het synthetiseren van nieuwe weergaven presteert het beter dan andere 3D diffusiemodellen en neurale renderingmethoden, waarbij het hoogwaardige resultaten behaalt met minder referentiebeelden. Daarnaast blinkt EscherNet uit in 3D-generatie, waarbij het modellen van hoge kwaliteit reconstrueert die nauwkeurig en visueel aantrekkelijk zijn, en overtreft het modellen van de beste kwaliteit in het reconstrueren van nauwkeurige en visueel aantrekkelijke 3D-geometrie. Dankzij de flexibiliteit kan het naadloos worden geïntegreerd in tekst-naar-3D-generatiepipelines, en produceert het consistente en realistische resultaten op basis van tekstuele aanwijzingen.
Met EscherNet hebben de onderzoekers significante vooruitgang geboekt in schaalbare neurale architecturen voor 3D-visie. Deze doorbraak opent nieuwe mogelijkheden op het gebied van computer vision en graphics, en maakt creatieve toepassingen zoals objectmanipulatie, navigatie en het opnieuw renderen van scènes mogelijk. De potentie voor verdere vooruitgang in schaalbare neurale architecturen voor 3D-visie is enorm, en EscherNet staat aan het front van deze spannende ontwikkeling.
Om meer te weten te komen over EscherNet en de toepassingen ervan, kunt u het onderzoeksrapport en het project bekijken. Het baanbrekende onderzoek is uitgevoerd door onderzoekers van Dyson Robotics Lab, Imperial College London en de Universiteit van Hong Kong. Blijf op de hoogte van de nieuwste ontwikkelingen op het gebied van AI en machine learning door ons te volgen op Twitter en Google News. En vergeet niet om lid te worden van onze bloeiende gemeenschap van ML-enthousiastelingen op Reddit, Facebook, Discord en LinkedIn. Als u ons werk waardeert, abonneer u dan op onze nieuwsbrief voor regelmatige updates over de nieuwste ontwikkelingen in het veld.
The source of the article is from the blog toumai.es