Velké modely jazyka vidění (Large Vision Language Models – LVLMs) udělaly značný pokrok v úkolech spojených s porozuměním textu a obrazu. Jejich výkon však zaostává v komplexních situacích ve srovnání s odborníky zaměřenými na konkrétní úkoly, hlavně kvůli omezením spojeným s rozlišením obrázků. Tyto omezení brání schopnosti LVLMs efektivně odkazovat na objekty pomocí jak textových, tak vizuálních indikátorů, zejména v oblastech jako jsou GUI agenty a činnosti počítání.
Chcete-li vyřešit tuto výzvu, tým výzkumníků představil Griffon v2, unifikovaný model s vysokým rozlišením navržený pro umožnění flexibilního odkazování na objekty pomocí textových a vizuálních indikátorů. K překonání problému omezeného rozlišení obrázků tým zavedl jednoduchý a lehký projektorem pro downsampling. Tento projektorem je zaměřen na obcházení omezení vstupních tokenů velkých modelů jazyka tím, že efektivně zvyšuje rozlišení obrázku.
Implementací tohoto přístupu se značně zlepšuje multimodální vnímání tím, že zachovává detaily a celé kontexty, zejména pro menší objekty, které bychom s nižším rozlišením mohli přehlédnout. Výzkumníci dále rozvinuli tuto základnu tím, že začlenili vizuální tokenizer typu plug-and-play a rozšířili Griffon v2 o schopnosti vzájemného odkazování mezi vizuálním a jazykovým obsahem. Tato funkce umožňuje uživatelům interagovat s modelem pomocí různých vstupních režimů, včetně souřadnic, volného textu a flexibilních cílových obrázků.
Griffon v2 prokázal svou efektivitu v různých úkolech, včetně generování výrazů odkazujících na objekty (REG), zarovnávání frází a porozumění výrazům odkazujícím na objekty (REC) na základě experimentálních dat. Model předčil odborné modely v detekci objektů a počítání objektů.
Hlavní přínosy výzkumného týmu lze shrnout následovně:
1. Model s vysokým rozlišením pro multimodální vnímání: Odstraněním potřeby rozdělovat obrázky nabízí Griffon v2 unikátní přístup k multimodálnímu vnímání, který zlepšuje místní porozumění. Jeho schopnost zacházet s rozlišeními až do 1K zvyšuje jeho kapacitu pro zachycení malých detailů.
2. Struktura vzájemného odkazování mezi vizuálním a jazykovým obsahem: Pro rozšíření užitnosti modelu a usnadnění flexibilní komunikace s uživateli byla zavedena struktura vzájemného odkazování mezi jazykem a vizuálními vstupy. Tato funkce umožňuje uživatelům pružnější a přirozenější interakce s modelem.
Byly provedeny rozsáhlé experimenty k ověření účinnosti Griffonu v2 v různých lokalizačních úkolech, včetně zarovnávání frází, generování výrazů odkazujících na objekty (REG) a porozumění výrazům odkazujícím na objekty (REC). Model prokázal výkon na špičkové úrovni, překonal odborné modely jak kvantitativně, tak kvalitativně v počítání objektů. To demonstrovalo jeho převahu v vnímání a pochopení.
Pro více informací se můžete odkázat na článek a GitHub repozitář projektu.
Často kladené otázky (FAQ)
1. Jaký je účel Griffonu v2?
Griffon v2 si klade za cíl zlepšit multimodální vnímání umožněním flexibilního odkazování na objekty prostřednictvím textových a vizuálních indikátorů.
2. Jak Griffon v2 překonává omezení rozlišení obrázku?
Griffon v2 využívá projektor pro downsampling k efektivnímu zvyšování rozlišení obrázku, překonávaje tak omezení spojená s vstupními tokeny velkých jazykových modelů.
3. V jakých úkolech Griffon v2 exceluje?
Griffon v2 prokázal mimořádný výkon v úkolech jako je generování výrazů odkazujících na objekty (REG), zarovnávání frází a porozumění výrazům odkazujícím na objekty (REC). Taktéž překonal odborné modely v detekci objektů a počítání objektů.
4. Jaké jsou hlavní přínosy výzkumného týmu?
Výzkumný tým přidal model s vysokým rozlišením pro multimodální vnímání, který zlepšuje místní porozumění zachováním jemných detailů. Dále byla představena struktura vzájemného odkazování mezi vizuálním a jazykovým obsahem k usnadnění adaptabilní a přirozené komunikace mezi uživateli a modelem.
Zdroje: paper-link, github-link
The source of the article is from the blog zaman.co.at