Az OLVASÁS idejére: Működése kérem légyszíves előre nyomógombolja a zum funkciót a Ctrl billentyű lenyomásával és a görgető egér használatával! Köszönjük.
Az mesterséges intelligencia világában a Látásnyelvi Modellek (VLM-ek) a Számítógépes Látás (CV) és a Természetes Nyelvfeldolgozás (NLP) forradalmi integrációjaként jelentek meg. Ezek az ágazatok kombinációja az emberi megértés reprodukálására törekszik azzal, hogy olyan tartalmakat értelmez és generál, melyek összekapcsolják a képeket és szavakat. Ez a fusion egy összetett kihívás elé állítja a kutatókat az egész világon.
A területen elért legutóbbi fejlesztések olyan modelleket vezettek be, mint az LLaVA és a BLIP-2, melyek kiterjedt kép-szövegpárokon alapuló finomhangolással kezdik az átlapolódást. Ezek a fejlesztések a kép felbontásának javítására, a tokenek minőségének növelésére és a magas felbontású képek feldolgozásával járó számítási nehézségek kezelésére összpontosítottak. Ugyanakkor szembesültek a késleltetéssel és a kiterjedt képzési erőforrások iránti igény kihívásaival.
A Hongkongi Egyetem és a SmartMore kutatóinak által előállított innovációk a Mini-Gemini nevű új keretrendszer bevezetéséhez vezettek, amely a látásnyelvi modellek határait feszegeti azáltal, hogy fejleszti a multimodális bemeneti feldolgozást. Amit a Mini-Gemini-től egyedülállóvá tesz a meglévő modellektől való különböztetése, az a dupla kódolós rendszer és egy egyedi patch info kibányászó technika alkalmazása, amelyet egy különlegesen összeállított, magas minőségű adathalmaz segít. Ezek a fejlesztések lehetővé teszik a Mini-Gemini számára, hogy hatékonyan dolgozzon fel magas felbontású képeket és előállítson tartalmakat, amelyek gazdagok vizuális és szöveges elemekben.
A Mini-Gemini mögötti módszertan egy dupla kódolós rendszert foglal magában, amely magába foglal egy konvolucionális neurális hálót a finomított képfeldolgozáshoz és egy patch info kibányászó technikát a részletes vizuális jelkinyeréshez. A keretrendszert egy összetett adathalmazon képes képezni, amely magában foglal nagy minőségű kép-szöveg párokat és feladatorientált instrukciókat a modell teljesítményének növelése és alkalmazási körét kiterjesztése érdekében. A Mini-Gemini kompatibilis különféle Nagy Nyelvi Modellekkel (LLM-ek) a 2B-tól 34B paraméterig, lehetővé téve az efikáns bármiről bármire történő következtetést. Ez a beállítás lehetővé teszi a Mini-Gemini számára, hogy kiemelkedő eredményeket érjen el a zero-shot benchmarkokban és támogassa a fejlett multimodális feladatokat.
A Mini-Gemini hatékonyságának értékelésekor a keretrendszer kiemelkedő teljesítményt mutatott több zero-shot benchmarkban. Kiemelkedő, hogy felülmúlta a Gemini Pro modellt az MM-Vet és az MMBench benchmarkokban, 79,6, illetve 75,6 pontot érve el, egyenként. Amikor a Hermes-2-Yi-34B-vel volt konfigurálva, a Mini-Gemini lenyűgöző 70,1 pontot ért el a VQAT benchmarkban, felülmúlva az LLaVA-1.5 modellt minden értékelt metrikában. Ezek az eredmények igazolják a Mini-Gemini fejlett multimodális feldolgozási képességeit és hangsúlyozzák hatékonyságát és precizitását a bonyolult vizuális és szöveges feladatok kezelésében.
Bár a Mini-Gemini jelentős lépést jelent a multimodális mesterséges intelligencia képességei terén, a kutatók elismerik, hogy továbbra is van helye a vizuális megértésének és következtetési képességeinek javítására. Arra szögezik le, hogy a jövőbeni munka felfedezni fogja a vizuális megértés, a következtetés és a generálás előmozdításának fejlettebb módszereit.
A Mini-Gemini összefoglalásaként új korszakot vezet be a VLM-ek világában a dupla kódolós rendszerével, patch info kibányászó technikájával és magas minőségű adathalmazával. Kiváló teljesítményével több benchmarkban is felülmúlja a megalapozott modelleket, elősegítve ezzel az előrelépést a multimodális mesterséges intelligenciában. Ahogy a kutatók folytatják munkájukat, törekednek a Mini-Gemini vizuális megértésének és következtetésének javítására, az AI technológia határait feszegetve.
Forrás: Marktechpost
Gyakran Ismételt Kérdések (FAQ)
The source of the article is from the blog aovotice.cz