Sumár:
Vývoj modelov text-na-obraz vidí narastajúci dopyt po vysokej kvalite vizuálnych informácií. Tieto modely však často čelia výzvam v efektivite trénovania a aplikovateľnosti v reálnom čase. Na túto výzvu reaguje nedávna výskumná práca predstavovaním Pixart-δ, pokročilej iterácie, ktorá bezproblémovo integruje Latent Consistency Models (LCM) a ControlNet-Transformer do existujúceho rámca Pixart-α. Táto integrácia vedie k zrýchlenému generovaniu obrazov a presnému ovládaniu, čím odomyká nové možnosti pre aplikácie v reálnom čase.
Pixart-δ využíva Latent Consistency Distillation (LCD) pre trénovanie, ktoré je vylepšenou verziou algoritmu Consistency Distillation (CD). Združenie ControlNetu do Pixart-δ zahŕňa novú ControlNet-Transformer architektúru, ktorá je špeciálne navrhnutá pre modely založené na Transformeroch, ako je Pixart-δ. Štruktúra ControlNetu sa selektívne aplikuje na počiatočné N blokov Transformera a zvyšuje ovládateľnosť a výkon.
Efektivita trénovania je hlavným bodom záujmu Pixart-δ, pretože úspešne prebieha distilácia v rámci obmedzenia 32GB GPU pamäte, podporujúc obrazové rozlíšenia až do veľkosti 1024 × 1024 pixelov. Pokiaľ ide o rýchlosť odhadovania, Pixart-δ prekonáva podobné metódy a dosahuje impozantné výsledky už len s štyrmi krokmi. Táto efektivita predstavuje významné zlepšenie oproti predchádzajúcemu modelu Pixart-α a iným štandardným metódam.
Účinnosť architektúry ControlNet-Transformer je demonštrovaná štúdiou ablatu, pričom sa ukazuje rýchlejšia konvergencia a zlepšený výkon. Vplyv počtu skopírovaných blokov (N) na výkon sa tiež analyzuje, pričom sa ukazujú optimálne výsledky pri N = 1 vo väčšine scenárov.
Zhrnutie: Pixart-δ predstavuje významný posun v generovaní obrazov v reálnom čase. Kombináciou zrýchleného vzorkovania pomocou Latent Consistency Models a presného ovládania prostredníctvom inovatívnej ControlNet-Transformer dosahuje tento model rýchlejšie vzorkovanie a efektívne generovanie obrazov vo vysokom rozlíšení. Tieto pokroky otvárajú nové možnosti pre aplikácie v reálnom čase v oblasti generovania obrazov.
The source of the article is from the blog papodemusica.com