Inom konstgjord intelligens har datorer kunnat skapa sin egen ”konst” genom diffusionsmodeller, där de successivt förfinar en brusig startpunkt för att generera tydliga bilder eller videor. Dock har denna process alltid varit tidskrävande, krävande många iterationer för att perfektera det slutgiltiga resultatet. Det är här det händer.
Forskare vid MIT:s Computer Science and Artificial Intelligence Laboratory (CSAIL) har utvecklat en banbrytande ram som revolutionerar sättet diffusionsmodeller fungerar på. Genom att förenkla den flerstegsprocessen till ett enda steg reducerar deras nya tillvägagångssätt, känt som distribution matching destillation (DMD), markant beräkningstiden samtidigt som kvaliteten på den genererade visuella innehållet bibehålls.
Till skillnad från tidigare metoder, som förlitade sig på iterativ förbättring, använder DMD-ramverket en lärar-elev-modell där en ny datormodell lär sig att härma beteendet hos mer komplexa originalmodeller. Denna teknik säkerställer snabb bildgenerering utan att kompromissa med kvaliteten. I själva verket överträffar DMD-ramverket tidigare diffusionsmodeller som Stable Diffusion och DALLE-3 när det gäller hastighet, genom att skapa bilder upp till 30 gånger snabbare.
Nyckeln till DMD:s framgång ligger i dess tvådelade tillvägagångssätt. För det första använder det en regressionsförlust för att kartlägga och stabilisera träningsprocessen. Därefter använder den en förlust för matching av distribution för att säkerställa att de genererade bilderna motsvarar frekvenserna av verklig förekomst i världen. Genom att dra nytta av kunskapen från två diffusionsmodeller destillerar DMD komplexiteten hos de ursprungliga modellerna till en enklare, snabbare version, undviker vanliga problem som instabilitet och modekollaps.
För att träna den nya modellen använde forskarna förtränade nätverk och finslipade deras parametrar baserat på de ursprungliga modellerna. Detta möjliggjorde snabb konvergens och förmågan att producera högkvalitativa bilder med samma arkitektoniska grund. DMD-ramverket visade också en konsekvent prestanda över olika referensvärden, tävlande med resultaten från mer komplexa modeller när det gäller bildgenereringskvalitet.
Medan DMD utgör ett betydande genombrott finns det fortfarande utrymme för förbättring. Kvaliteten på de genererade bilderna beror på förmågorna hos den lärarmodell som används under destillationsprocessen. Till exempel kan rendering av detaljerad text och små ansikten fortfarande utgöra en utmaning. Dock kan dessa begränsningar övervinnas med framsteg inom lärarmodeller, vilket ytterligare förbättrar de genererade bilderna.
De implikationer som den enstegs diffusionsmodellen har är enorma. Designverktyg kan förbättras, vilket möjliggör snabbare innehållsskapande. Branscher som läkemedelsupptäckt och 3D-modellering kan dra nytta av snabbare och mer effektiva processer. DMD-ramverket öppnar upp möjligheter för realtidsvisuell redigering som kombinerar mångsidigheten och den höga visuella kvaliteten hos diffusionsmodeller med prestandan hos GANs.
Med forskningsteamets arbete som presenteras på konferensen om datasyn och mönsterigenkänning i juni är det tydligt att framtiden för bildgenerering utvecklas snabbt. Kombinationen av hastighet, kvalitet och effektivitet som erbjuds av DMD-ramverket markerar en betydande milstolpe inom konstgjord intelligens.
FAQ
Vad är en diffusionsmodell?
En diffusionsmodell är en typ av konstgjord intelligensansats där datorer genererar visuellt innehåll genom att successivt förädla en brusig startpunkt tills tydliga bilder eller videor framkommer.
Vad är DMD-ramverket?
DMD (distribution matching destillation)-ramverket är en ny metod utvecklad av forskare vid MIT. Det förenklar den traditionella flerstegsprocessen av diffusionsmodeller till ett enda steg och reducerar signifikant beräkningstiden samtidigt som kvaliteten på det genererade visuella innehållet bibehålls.
Hur fungerar DMD-ramverket?
DMD-ramverket använder en lärar-elev-modell där en ny datormodell lär sig att härma beteende hos mer komplexa originalmodeller. Det kombinerar en regressionsförlust och en distribution matching-förlust för att säkerställa stabil träning och generera bilder som motsvarar frekvenserna av verklig förekomst.
Vilka fördelar har DMD-ramverket?
DMD-ramverket accelererar bildgenerering med upp till 30 gånger jämfört med tidigare diffusionsmodeller. Det behåller kvaliteten på det genererade visuella innehållet samtidigt som beräkningstiden markant reduceras. Dessutom har det potential att förbättra designverktyg, stödja framsteg inom läkemedelsupptäckt och 3D-modellering samt möjliggöra realtidsvisuell redigering.
Finns det några begränsningar för DMD-ramverket?
Kvaliteten på de genererade bilderna med hjälp av DMD-ramverket beror på förmågorna hos den lärarmodell som används under destillationsprocessen. Att rendera detaljerad text och små ansikten kan fortfarande vara utmaningar, men dessa begränsningar kan åtgärdas med mer avancerade lärarmodeller.
Källor:
– MIT CSAIL: https://csail.mit.edu
The source of the article is from the blog mgz.com.tw