Področje obdelave naravnega jezika (NLP) in generiranja naravnega jezika (NLG) je doživelo znatne napredke z uvajanjem velikih jezikovnih modelov (LLM) in multimodalnih osnovnih modelov. Ti modeli, kot so GPT4V, Claude in Gemini, združujejo vizualne kodirnike z LLM-i in učinkovito obvladujejo zgolj besedilne ali kombinirane slike in besedilne vnose.
Ključno vprašanje pa se pojavi – kako se zmožnosti teh modelov spreminjajo glede na vrsto vhoda, ki ga prejmejo? Da bi odgovorili na to vprašanje, je skupina raziskovalcev predstavila IsoBench, merilno zbirko podatkov, ki vsebuje izzive iz štirih pomembnih domen: igre, znanost, matematika in algoritmi. IsoBench vključuje več izomorfnih predstav za vsak problem, vključno s tekstovnimi, matematičnimi in grafičnimi formati, kar omogoča podrobno analizo razlik v uspešnosti, ki izhajajo iz različnih oblik predstavitve.
IsoBench služi kot diagnostično orodje za identifikacijo razlik v uspešnosti modela, ki jih povzroča predstavitev vhoda, in zagotavlja podrobne povratne informacije. Opazili smo en vzorec pri različnih osnovnih modelih, in sicer prednost besedilnih predstav pri obdelavi istega predmeta. Na primer, po ocenah IsoBench-a Claude-3 Opus kaže 28,7-odstotni upad uspešnosti, ko so predstavljeni slike namesto besedila. Podobno GPT-4 Turbo in Gemini Pro kažeta zmanjšanje uspešnosti za 18,7 oziroma 14,9 točk, ko prejmeta slikovne vhode namesto besedila.
Da bi naslovili to pristranskost in izboljšali uspešnost modela, raziskovalci predlagajo dve strategiji spodbujanja – IsoCombination in IsoScratchPad. IsoScratchPad se osredotoča na olajšanje prevajanja med več oblikami vnosa, medtem ko IsoCombination raziskuje kombinacije raznolikih predstav vnosov. Z izkoriščanjem prednosti različnih modalitet vhoda te strategije pomagajo zmanjšati razlike v uspešnosti med osnovnimi modeli.
Ekipa je s poskusi dokazala, da tako IsoCombination kot IsoScratchPad prispevata k izboljšanju uspešnosti modela, odpirata zanimive možnosti za nadaljnje raziskave in napredovanje v multimodalnih AI sistemih.
Glavne prispevke raziskovalcev lahko povzamemo na naslednji način:
1. IsoBench: Raziskovalci so predstavili obsežen testni nabor podatkov s 1.630 vzorci različnih tem, vključno s šahom, fiziko, kemijo ter diskretno in uporabno matematiko. Zbirka podatkov omogoča celovite multimodalne uspešnosti, omogočene z vključitvijo izomorfnih predstav vhoda, specifičnih za posamezno področje.
2. Meritve Uspešnosti: Z uporabo IsoBench-a je ekipa ovrednotila osem dobro znanih osnovnih modelov in identificirala dosleden vzorec. Multimodalni modeli presegajo slikovne spodbude pri zgolj besedilnih spodbudah.
3. Premostitev Vrzeli v Uspešnosti: Raziskovalci so predlagali dva načina – IsoScratchPad (IsoSP) in IsoCombination (IsoCB) – za premostitev vrzeli v uspešnosti med različnimi modalitetami vnosa. IsoSP prevede slikovne vnose v besedilne predstavitve med izvajanjem, medtem ko IsoCB združuje modalitete vnosa.
Na podlagi raziskave ekipa sklepa, da lahko v določenih primerih izvajanje strategij IsoCB in IsoSP izboljša uspešnost multimodalnih osnovnih modelov za skoraj deset odstotkov. Te strategije pomagajo omiliti pristranskost proti besedilnim predstavitvam, kar omogoča modelom boljše delovanje z različnimi modalitetami vhoda.
Za dodatne podrobnosti se obrnite na raziskovalno gradivo in projekt. Zahvala za to raziskavo gre skrbnim raziskovalcem, vključenim v ta projekt. Ostanite informirani o naših najnovejših vpogledih tako, da nas spremljate na Twitterju in se pridružite našemu Telegram kanalu, Discord skupini in LinkedIn skupini.
FAQ:
V: Kaj je IsoBench?
O: IsoBench je merilna zbirka podatkov, ki vsebuje izzive iz različnih domen in se uporablja za evalvacijo uspešnosti multimodalnih osnovnih modelov.
V: Kaj sta IsoCombination in IsoScratchPad?
O: IsoCombination in IsoScratchPad sta dve strategiji, predlagani za odpravo razlik v uspešnosti, ki jih povzročajo različne modalitete vnosa. IsoCombination raziskuje kombinacije raznolikih predstav vhoda, medtem ko IsoScratchPad olajša prevajanje med več oblikami vnosa.
V: Kako lahko multimodalni AI sistemi koristijo od IsoCombination in IsoScratchPad?
O: Te strategije pomagajo premostiti vrzeli v uspešnosti med različnimi modalitetami vnosa, zmanjšajo pristranskost proti besedilnim predstavitvam in izboljšajo uspešnost modela.
Viri:
– Projekt
The source of the article is from the blog elektrischnederland.nl