Det fellesområdet for Naturleg Språkprosessering (NLP) og Naturleg Språkgenerering (NLG) har opplevd store fremskritt med innføringa av Stora Språkmodellar (LLMer) og multimodale grunnmodellar. Desse modellane, som GPT4V, Claude og Gemini, kombinerer visuelle kodarar med LLMer for å handtere berre tekst eller kombinerte bilete- og tekstinndata på ein effektiv måte.
Det kjem likevel eit avgjerande spørsmål – korleis endrar desse modellane sine evner basert på typen inndata dei får? For å adressere dette spørsmålet, har ei forskargruppe introdusert IsoBench, eit benchmark-datasett som består av utfordringar frå fire viktige områder: spel, vitskap, matematikk og algoritmar. Kvar problem i IsoBench har fleire isomorfe representasjonar, inkludert tekstbaserte, matematiske og grafiske format. Denne mangfaldet gjer det muleg å gjennomføre ei grundig analyse av ytelsesforskjellane som følgjer av ulike former for representasjon.
IsoBench fungerer som eit verktøy for å identifisere avvik i modellprestasjon som skuldast inndatarepresentasjon, og gir detaljert tilbakemelding. Ei observerbar tendens på tvers av ulike grunnmodellar er preferansen for tekstlige representasjonar når dei handterer same emnet. Til dømes demonstrerer Claude-3 Opus ein reduksjon på 28,7 poeng i ytelse når modellen blir presentert med bilete i staden for tekst, ifølgje IsoBench- evalueringar. På same måte viser GPT-4 Turbo og Gemini Pro ytelsesnedgangar på 18,7 og 14,9 poeng, respektivt, når dei får bileteinndata i staden for tekst.
For å adressere denne skjevheita og forbetre modellprestasjonen, foreslår forskarane to utløysingsstrategiar – IsoCombination og IsoScratchPad. IsoScratchPad fokuserer på å lette omsetjingar mellom fleire inndataformer, medan IsoCombination utforskar kombinasjonar av ulike inndatarepresentasjonar. Ved å dra nytte av fordelane med ulike inngangsmodalitetar, hjelper desse strategiane å redusere ytelsesforskjellane mellom grunnmodellar.
Gjennom eksperiment har teamet vist at både IsoCombination og IsoScratchPad bidrar til betra modellprestasjon, og opnar spennande moglegeheiter for vidare forsking og framgang innan multimodale AI-system.
Dei viktigaste bidraga frå forskarane kan oppsummerast som følgjer:
1. IsoBench: Forskarane har introdusert eit omfattande testdatasett med 1 630 prøvar innan ulike emne, inkludert sjakk, fysikk, kjemi, diskret og anvendt matematikk. Datasettet gjev omfattande multimodal ytelsesevalueringar gjennom inkludering av isomor fe inndatarepresentasjonar som er spesifikke for kvar domene.
2. Ytelsevurdering: Ved bruk av IsoBench har teamet evaluert åtte velkjende grunnmodellar og identifisert eit consistent mønster. Multimodale modellar presterer betre enn biletebaserte utløysingar når det kjem til berre tekstbaserte utløysingar.
3. Å byggje bro over ytelsesgapet: Forskarane har foreslått to metodar, IsoScratchPad (IsoSP) og IsoCombination (IsoCB), for å byggje bro over ytelsesgapet mellom ulike inngangsmodalitetar. IsoSP omset visuelle inndata til tekstlige representasjonar under inferens, medan IsoCB kombinerer inngangsmodaliteter.
Basert på forskinga konkluderer teamet med at implementeringa av IsoCB og IsoSP i visse tilfelle kan forbetre multimodale grunnmodellars ytelse med nesten ti prosentpoeng. Desse strategiane hjelper til med å redusere skjevheita mot tekstlige representasjonar, noko som gjer det mogleg for modellane å prestere betre med ulike inngangsmodalitetar.
For ytterligere detaljar, sjå forskingspapiret og prosjektet. Kredit ligg hos dei flittige forskarane involvert i dette prosjektet. Ver oppdatert med våre nyaste innsikter ved å fylgje oss på Twitter og bli med i vår Telegram-kanal, Discord-kanal og LinkedIn-gruppe.
FAQ:
Q: Kva er IsoBench?
A: IsoBench er eit benchmark-datasett som inneheld utfordringar frå diverse domene, brukt for å evaluere ytelsen til multimodale grunnmodellar.
Q: Kva er IsoCombination og IsoScratchPad?
A: IsoCombination og IsoScratchPad er to strategiar som er foreslått for å redusere ytelsesforskjellane som blir forårsaka av ulike inngangsmodalitetar. IsoCombination utforskar kombinasjonar av ulike inndatarepresentasjonar, medan IsoScratchPad lettar omsetjingar mellom fleire inndataformer.
Q: Korleis kan multimodale AI-system dra nytte av IsoCombination og IsoScratchPad?
A: Desse strategiane hjelper til med å byggje bro over ytelsesgapet mellom ulike inngangsmodalitetar, reduserer skjevheita mot tekstlige representasjonar og forbetrar modellprestasjonen.
The source of the article is from the blog exofeed.nl