Store syns-språkmodellar (LVLMs) har gjort betydeleg framgang i oppgåver som involverer tekst- og biletoppfattelse. Likevel kjem prestasjonen deira i komplekse scenario kort når ein samanliknar med oppgåvespesifikke spesialistar, hovudsakleg på grunn av biletoppløysingsavgrensingar. Desse avgrensingane hindrar evna til LVLMs til effektivt å vise til objekt ved hjelp av både tekstelement og visuelle ledetrådar, særleg innanfor område som GUI-agenter og teljeaktivitetar.
For å møte denne utfordringa har ei gruppe forskarar introdusert Griffon v2, ein samla høgoppløysingsmodell som er designa for å muliggjere fleksibel objektreferanse gjennom både tekstelement og visuelle ledetrådar. For å handtere problemet med avgrensingar i biletoppløysing har teamet introdusert ein enkel og lett projektor for nedsample. Denne projektoren er retta mot å omgå avgrensingane i inndata-token for store språkmodellar ved å effektivt auke biletoppløysing.
Ved å implementere denne tilnærminga vert multimodal oppfattelse signifikant forbetra ved å bevare fine detaljar og heile samanhengar, særleg for mindre objekt som lågoppløysingsmodellar kan oversjå. Forskarane har vidare utvida denne grunnstammen ved å inkorporere ein «plug-and-play» visuell tokenisering og dei har augmentert Griffon v2 med evne til visuell-språk co-referanse. Denne funksjonen gjev brukarar moglegheit til å samhandle med modellen ved hjelp av ulike inndatamodusar, inkludert koordinatar, fri formtekst og fleksible målbilete.
Griffon v2 har vist si effektivitet innan ulike oppgåver, inkludert generering av referanseuttrykk (REG), frase grunnfeste og forståing av referanseuttrykk (REC), basert på eksperimentelle data. Modellen har prestert betre enn ekspertmodellar innanfor objektdeteksjon og objektteljing.
Dei viktigste bidraga frå forskarteamet kan samandragast som følgjer:
1. Høgoppløysingsmodell for multimodal oppfatting: Ved å fjerne behovet for å dele bilete tilbyr Griffon v2 ei unik tilnærming til multimodal oppfatting som forbetrar lokal forståing. Evna til å handtere oppløysingar opp til 1K aukar kapasiteten til å fanga små detaljar.
2. Struktur for visuell-språk co-referanse: For å utvida modellens nytte og lette fleksibel kommunikasjon med brukarar, har ein struktur for co-referanse som kombinerer språk og visuelle inndata blitt introdusert. Denne funksjonen gjer at det vert mogleg med meir tilpassande og naturlege interaksjonar mellom brukarar og modellen.
Omfattande eksperiment er gjennomførde for å validere effektiviteten til Griffon v2 i ulike lokaliseringsoppgåver, inkludert frase grunnfeste, generering og forståing av referanseuttrykk. Modellen har vist framståande ytelse, overgåande ekspertmodellar i både kvantitative og kvalitative objektteljingsoppgåver. Dette demonstrerer overlegenheita i oppfatting og forståing.
For meir detaljar kan ein sjå papiret og GitHub-oppsamlingsstadet til prosjektet.
### Ofte stilte spørsmål (FAQ)
1. Kva er formålet med Griffon v2?
Griffon v2 har som mål å forbetre multimodal oppfatting ved å muliggjere fleksibel objektreferanse gjennom både tekstelement og visuelle ledetrådar.
2. Korleis overkjem Griffon v2 avgrensingar for biletoppløysing?
Griffon v2 nyttar ein nedsample-projektor for å effektivt auke biletoppløysing, og dermed omgå avgrensingane som store språkmodellars inndata-token står overfor.
3. Kva oppgåver har Griffon v2 prester nok i?
Griffon v2 har demonstrert framståande ytelse i oppgåver som generering av referanseuttrykk (REG), frase grunnfeste og forståing av referanseuttrykk (REC). Modellen har også prestert betre enn ekspertmodellar innanfor objektdeteksjon og objektteljing.
4. Kva er hovudbidraga frå forskarteamet?
Forskarteamet har bidrege med å utvikle ein høgoppløysingsmodell for multimodal oppfatting som forbetrar lokal forståing ved å bevare fine detaljar. Dei har òg introdusert ein struktur for visuell-språk co-referanse for å lette meir tilpassande og naturlege kommunikasjonar mellom brukarar og modellen.
Kjelder: [paper-link], [github-link]
The source of the article is from the blog tvbzorg.com