Forskare från Google DeepMind, OpenAI, Rutgers University och Korea University har utvecklat en banbrytande metod som kallas Parrot för text-till-bild (T2I) generering. Detta nya flerbelöningsförstärkningsinlärnings (RL) -ramverk syftar till att effektivt optimera flera belöningar och förbättra kvaliteten på genererade bilder.
Parrot-ramverket fokuserar på att gemensamt optimera T2I-modellen och det expansionsnätverk för prompt som spelar en avgörande roll i genereringen av kvalitetsmedvetna textprompter. För att erkänna den eventuella glömskan av den ursprungliga prompten under inferensprocessen introducerar Parrot promptcentrerad vägledning för att bibehålla integriteten hos prompten.
För att integrera preferensinformation använder Parrot belönings-specifika identifierare som automatiskt bestämmer vikten av varje belöningsmål. Genom att finjustera expansionsnätverket för prompt med hjälp av Promptist-datasetet säkerställer Parrot att justering och estetiska poäng beaktas under RL-träningen. T2I-modellen är förtränad med LAION-5B-datasetet och finjusteras med hjälp av en policygradientalgoritm för att behandla brusreduceringsprocessen som en Markov-beslutsprocess.
En av de viktigaste fördelarna med Parrot är dess förmåga att förbättra flera kvalitetsmått, inklusive estetik, bildkänsla och mänsklig preferens, jämfört med att använda en enskild belöningsmodell. Den promptcentrerade vägledningen säkerställer att de genererade bilderna fångar den ursprungliga prompten samtidigt som de inkorporerar visuellt tilltalande detaljer.
Men trots att Parrot visar en anmärkningsvärd effektivitet, är den fortfarande beroende av befintliga metriker och har vissa begränsningar. Ytterligare framsteg krävs för att förbättra Parrots anpassningsförmåga till en bredare uppsättning belöningar och utöka dess användbarhet för att kvantifiera bildkvalitet.
Det är viktigt att notera att de etiska konsekvenserna av Parrot bör övervägas noggrant. Dess potential att generera olämpligt innehåll understryker behovet av rigorös granskning och etisk utvärdering under dess implementering.
Sammanfattningsvis representerar Parrots flerbelönings RL-ramverk ett betydande steg framåt inom T2I-genereringstekniken. Med sin gemensamma optimeringsmetod och promptcentrerade vägledning visar Parrot lovande resultat när det gäller att förbättra bildkvaliteten och öppnar dörrar för ytterligare framsteg inom området.
The source of the article is from the blog reporterosdelsur.com.mx
