Adobe Research’s AI inovācijas uzlabo video skaidrību – Inženieri no Adobe Research ir izstrādājuši jaunākās paaudzes mākslīgā intelekta lietojumprogrammu, zināmu kā VideoGigaGAN. Šis AI rīks ir paredzēts, lai pārveidotu miglainus video paraugus par ievērojami asākiem variantiem, piedāvājot nozīmīgi uzlabotu skaidrību pēc apstrādes.
Komanda izmantoja generatīvo pretrunīgu tīklu (GAN), ar konkrētu mērķi mācīt sistēmu atpazīt augstas kvalitātes video saturu ar asumu un skaidrību – tie fokusējās uz detalizētiem apgriezieniem, piemēram, atsevišķi matu pavedieni uz uzacu, nevis tikai mīkstinātu masu.
Video kadrus ievadkopē ar pārvadāšanas moduli arpadziņu – Lai uzturētu vienmērīgu kvalitāti visos video kadros, Adobe pētnieki iekļāva “plūsmas vadīto izplatīšanas moduli,” kas ir būtisks video vizuālās narratīvas saskaņotībai.
Salīdzinājums starp Adobes metodi, kas marķēta kā “Mūsu,” un citām tehnikām atspoguļo zinātnieku pieeju. Viņu publikācija ir pieejama platformā arXiv.
Kā Generatīvie pretrunīgie tīkli pilnveido video kvalitāti – Generatīvie pretrunīgie tīkli sastāv no diviem neironu tīkliem – generatora un diskriminatora -, kas iesaistās mācību sacensībā. Generatora loma ir “maldināt” diskriminatoru, lai tas pārprotami uzskatītu sintētiskos datus par reālu datu, kamēr diskriminators cenšas uzlabot spēju atšķirt starp abiem.
Lai mazinātu jebkādas AI kļūdas un risinātu asas kritiļu videokvalitāti, pētnieki arī piemēroja mīkstināšanas tehnikas un “pāradresēto augstfrekvences detaļas.”
Pēc pētnieku domām, sistēmai ir potenciāls uzlabot video kvalitāti līdz pat astoņiem reizes. Svarīgi ir tas, ka šo uzlabojumu sasniedz, ieviešot kopš AI iedarbinātas video apstrādes parasti pavadošās problēmas – nerealizētie krāsas vai raupji līnijas.
Realistisku video tekstūru pārdefinēšana ar AI – Izstrādātāji atzīst, ka daļa izvades video ir pilnībā sintezēta no VideoGigaGAN vērtējuma sistēmu pamata. AI var “zīmēt” nepieciešamos elementus, piemēram, poras uz ādas, grumbas ap acīm vai pat skropstas, lai sasniegtu augstu definīciju.
Vēl jāredz, vai Adobe izlaidīs šo lietojumprogrammu publiskai izmantošanai.
Iepriekš Adobe ieviesa neironu tīklu mūzikas radīšanai, kas nosaukts kā Project Music GenAI Control, kas ļauj veidot audio atbilstoši teksta aprakstiem.
Plašākai informācijai lūdzu sazinieties ar Adobe Research galveno domēnu šeit:
Adobe Research