Den seneste udvikling inden for Large Vision Language Models (LVLMs) har ført til store fremskridt inden for tekst- og billeddataforståelse. Men når det kommer til komplekse scenarier, har disse modeller vist sig at være mindre effektive sammenlignet med specialiserede modeller. Dette skyldes primært begrænsningerne i billedopløsning, som hindrer LVLMs i effektivt at henvise til objekter ved hjælp af både tekstlige og visuelle ledetråde, især inden for områder som GUI-agenter og optællingsaktiviteter.
For at imødekomme denne udfordring har et hold af forskere introduceret Griffon v2, en enheds højopløsningsmodel designet til at muliggøre fleksibel objekthenvisning gennem tekstlige og visuelle ledetråde. For at overvinde problemet med begrænset billedopløsning har holdet introduceret en enkel og letvægts nedskalering af projektoren. Denne projektør har til formål at omgå inputtokenbegrænsningerne af Large Language Models ved at øge billedopløsningen effektivt.
Implementeringen af denne tilgang forbedrer markant multimodal perception ved at bevare fine detaljer og hele kontekster, især for mindre objekter, som lavopløsningsmodeller måske overser. Forskerne har yderligere udbygget dette fundament ved at inkorporere en plug-and-play visuel tokenizer, og de har forstærket Griffon v2 med visuel-sproglig co-henvendelseskapacitet. Denne funktion giver brugerne mulighed for at interagere med modellen ved hjælp af forskellige inputtilstande, herunder koordinater, frit tekstfelt og fleksible målbilleder.
Griffon v2 har demonstreret sin effektivitet i forskellige opgaver, herunder Generating Referring Expression (REG), phrase grounding og Referring Expression Comprehension (REC), baseret på eksperimentelle data. Modellen har overgået ekspermodellerne inden for objektdetektion og objektoptælling.
Forskningsteamets primære bidrag kan opsummeres som følger:
1. Højopløsnings Multimodal Perception Model: Ved at fjerne behovet for at opdele billeder tilbyder Griffon v2 en unik tilgang til multimodal perception, der forbedrer lokal forståelse. Dets evne til at håndtere opløsninger på op til 1K forbedrer dens evne til at fange små detaljer.
2. Visuel-sproglig Co-Henvendelsesstruktur: For at udvide modellens anvendelighed og lette fleksibel kommunikation med brugere er der blevet introduceret en samhenvendelsesstruktur, der kombinerer sprog og visuelle input. Denne funktion muliggør mere tilpasningsdygtige og naturlige interaktioner mellem brugere og modellen.
Der er gennemført omfattende eksperimenter for at validere effektiviteten af Griffon v2 i forskellige lokaliseringsopgaver, herunder phrase grounding, Referring Expression Generation (REG) og Referring Expression Comprehension (REC). Modellen har vist state-of-the-art performance, der overstiger ekspermodellerne inden for både kvantitativ og kvalitativ objektoptælling. Dette demonstrerer dens overlegenhed inden for perception og forståelse.
For yderligere detaljer kan du henvise til papiret og GitHub-repositoriet for projektet.
Frequently Asked Questions (FAQ)
The source of the article is from the blog toumai.es