V oblasti umělé inteligence se modely vize a jazyka (VLMs) ukázaly jako revoluční integrace počítačového vidění (CV) a zpracování přirozeného jazyka (NLP). Kombinace těchto dvou disciplín si klade za cíl replikovat lidské porozumění interpretací a generováním obsahu, který plynule kombinuje obrázky a slova. Tato fúze představuje složitou výzvu, která zaujala výzkumníky po celém světě.
Nedávné pokroky v oboru přinesly modely jako LLaVA a BLIP-2, které využívají rozsáhlých sbírek obrázků a textu k jemné kalibraci křížového modálního zarovnání. Tyto pokroky se zaměřily na zlepšení rozlišení obrázků, zlepšení kvality tokenů a řešení výpočetních obtíží spojených s zpracováním obrázků vysokého rozlišení. Avšak tyto modely se potýkaly s problémy spojenými s odezvou a požadavkem na rozsáhlé výcvikové prostředky.
Inovace představené výzkumníky z Čínské univerzity v Hongkongu a SmartMore přinesly nový rámec nazvaný Mini-Gemini, který posouvá hranice VLMs tím, že zlepšuje zpracování více-modálního vstupu. To, co odlišuje Mini-Gemini od existujících modelů, je jeho implementace systému s dvojitým kódovačem a jedinečné techniky dolování informací o patch, spojená s pečlivě vybranou vysoce kvalitní sadou dat. Tyto inovace umožňují Mini-Gemini efektivně zpracovávat obrázky vysokého rozlišení a generovat kontextově bohatý vizuální a textový obsah.
Metodologie za Mini-Gemini zahrnuje systém s dvojitým kódovačem, který kombinuje konvoluční neuronovou síť pro rafinované zpracování obrazu a techniku dolování informací o patch pro detailní extrakci vizuálních signálů. Tento rámec je trénován na kompozitní sadě dat zahrnující dvojice obrázek-text vysoce kvalitní a instrukce zaměřené na úlohy pro zlepšení výkonu modelu a rozšíření jeho oblasti použití. Mini-Gemini je kompatibilní s různými velkými jazykovými modely (LLMs), což umožňuje efektivní inferenci od jakéhokoli k jakémukoli. Tento nastavení umožňuje Mini-Gemini dosáhnout vynikajících výsledků v nulových testovacích bodech a podporovat pokročilé více-modální úlohy.
Při hodnocení účinnosti Mini-Gemini tento rámec ukázal vynikající výkony v několika nulových testovacích bodech. Zejména překonal model Gemini Pro v testovacích bodech MM-Vet a MMBench, dosahujících skóre 79,6 a 75,6. Při konfiguraci s Hermes-2-Yi-34B dosáhl Mini-Gemini impozantního skóre 70,1 v testovacím bodě VQAT, překonávající existující model LLaVA-1.5 ve všech vyhodnocených metrikách. Tyto výsledky potvrzují pokročilé více-modální zpracování Mini-Gemini a zdůrazňují jeho efektivitu a přesnost při zpracování složitých vizuálních a textových úkolů.
Zatímco Mini-Gemini představuje významný krok vpřed v možnostech více-modální umělé inteligence, výzkumníci uznávají, že v jeho schopnostech vizuálního porozumění a úsudku je stále místo pro zlepšení. Tvrdí, že budoucí práce budou zkoumat pokročilé metody vizuálního porozumění, úsudku a generování.
V souhrnu Mini-Gemini otevírá novou éru VLMs prostřednictvím svého systému s dvojitým kódovačem, techniky dolování informací o patch a vysoce kvalitních dat. Díky svým vynikajícím výkonnostem v několika testovacích bodech Mini-Gemini překonává zavedené modely a otevírá cestu k inovacím v oblasti více-modální umělé inteligence. Jak výzkumníci pokračují ve své práci, usilují o zdokonalení vizuálního porozumění a úsudku Mini-Gemini, posouvajíce hranice technologie umělé inteligence.
**Zdroj:** Marktechpost
Často kladené otázky (FAQ)
The source of the article is from the blog shakirabrasil.info