V oblasti umelej inteligencie sa Vision Language Models (VLMs) stali revolučnou integráciou počítačového videnia (CV) a spracovania prirodzeného jazyka (NLP). Kombinácia týchto dvoch disciplín si kladie za cieľ napodobniť ľudské porozumenie interpretáciou a generovaním obsahu, ktorý bez problémov spája obrázky a slová. Táto fúzia predstavuje komplexnú výzvu, ktorá nadelila výskumníkov na celom svete.
Nedávne pokroky v oblasti predstavili modely ako LLaVA a BLIP-2, ktoré využívajú rozsiahle zbierky párov obrázkov a textu na doladenie krížového modálneho zarovnania. Tieto pokroky sa zamerali na zlepšenie rozlíšenia obrazov, zlepšenie kvality tokenov a riešenie výpočtových ťažkostí spojených s procesom spracovania obrázkov s vysokým rozlíšením. Avšak narazili na problémy spojené s oneskorením a potrebou rozsiahlych zdrojov na tréning.
Inovácie predstavené výskumníkmi z Čínskej univerzity v Hongkongu a SmartMore priniesli nový rámec nazvaný Mini-Gemini, ktorý posúva hranice VLMs zlepšovaním spracovania viacmodálneho vstupu. To, čo odlišuje Mini-Gemini od existujúcich modelov, je jeho implementácia duálneho enkóderového systému a jedinečnej techniky ťažby informácií o skresanej (patch info mining) spojená so špeciálne kultivovaným súborom obrazov a textov vysokej kvality. Tieto inovácie posilňujú Mini-Gemini k účinnému spracovaniu obrázkov s vysokým rozlíšením a generovaniu obsahu bohatého na kontext vizuálny a textálny.
Metodológia za Mini-Gemini zahŕňa duálny enkóderový systém, ktorý zahŕňa konvolučnú neurónovú sieť pre rafinované spracovanie obrazu a techniku ťažby informácií o skresanej pre detailné vyhotovenie vizuálneho signálu. Rámec je trénovaný na zložitom súbore údajov, ktorý zahŕňa páry obrázok-text vysoké kvality a úlohovo orientované pokyny na zlepšenie výkonnosti modelu a rozšírenie jeho aplikačného rozsahu. Mini-Gemini je kompatibilný s rôznymi veľkými modelmi jazyka (LLMs), umožňujúc efektívne inferencie medzi akýmikoľvek. Táto konfigurácia umožňuje Mini-Gemini dosiahnuť vynikajúce výsledky v zero-shot benchmarkoch a podporovať pokročilé viacmodálne úlohy.
Pri hodnotení efektívnosti Mini-Gemini tento rámec predviedol vynikajúci výkon v niekoľkých zero-shot benchmarkoch. Významne prevýšil model Gemini Pro v benchmarkoch MM-Vet a MMBench, dosahujúc skóre 79,6 resp. 75,6. Pri konfigurácii s Hermes-2-Yi-34B dosiahol Mini-Gemini úžasné skóre 70,1 v benchmarku VQAT, prekonávajúc existujúci model LLaVA-1.5 vo všetkých vyhodnotených metrikách. Tieto výsledky potvrdzujú pokročilú viacmodálnu spracovateľnosť Mini-Gemini a zdôrazňujú jeho efektivitu a presnosť pri riešení zložitých vizuálnych a textových úloh.
Hoci Mini-Gemini predstavuje významný krok vpred v možnostiach multi-modálnej umelej inteligencie, výskumníci uznávajú, že stále existuje priestor na zlepšenie jeho schopností vizuálneho porozumenia a úvah. Tvrdia, že budúce práce preskúmajú pokročilé metódy pre vizuálne porozumenie, úvahu a generovanie.
V závere Mini-Gemini otvára novú éru vo VLMs prostredníctvom svojho duálneho enkóderového systému, techniky ťažby informácií o skresanej a súboru údajov vysokej kvality. S výnimočným výkonom v niekoľkých benchmarkoch Mini-Gemini prevyšuje etablované modely, otvárajúc cestu pre pokroky v multi-modálnej umelej inteligencii. Ako výskumníci pokračujú vo svojej práci, usilujú sa o zlepšenie vizuálneho porozumenia a úvah Mini-Gemini, posúvajúc hranice AI technológie.
Zdroj: Marktechpost
Často kladené otázky (FAQ)
The source of the article is from the blog aovotice.cz