Istraživači sa MIT-a i drugih institucija otkrili su zanimljive detalje o velikim jezičnim modelima (VJM). Ovi modeli, također poznati kao modeli transformatora, široko su korišteni u aplikacijama umjetne inteligencije, poput AI chatbota poput ChatGPT. Složenost ovih modela omogućava im pohranu i dekodiranje ogromnih količina znanja koristeći iznenađujuće jednostavne linearne funkcije. Ovo otkriće baca svijetlo na to kako ovi modeli funkcioniraju i ima implikacije za poboljšanje njihove preciznosti.
Istraživači razvili tehniku za identifikaciju linearnih funkcija koje VJM-ovi koriste za kodiranje i pronalaženje različitih vrsta činjenica. Proučavajući ove funkcije, dobili su uvid u znanje modela o različitim temama i gdje se to znanje pohranjuje unutar modela. Fascinantna činjenica koju su otkrili jest da čak i kada model pruži neispravan odgovor na upit, često još uvijek posjeduje ispravne informacije unutar svoje pohrane. To ukazuje na to da bi se ove jednostavne funkcije potencijalno mogle koristiti za identificiranje i ispravljanje neistina unutar modela, smanjujući time vjerojatnost netočnih ili besmislenih odgovora AI chatbota.
Iako sve činjenice nisu kodirane i izvučene na isti način, otkriće ovih jednostavnih funkcija predstavlja vrijedan alat za razumijevanje unutrašnjeg djelovanja velikih jezičnih modela. Kako bi olakšali svoje istraživanje, tim je također razvio tehniku vizualizacije nazvanu “atributna leća”. Ovaj alat za vizualizaciju mapira gdje su pohranjene konkretni podaci o odnosima unutar slojeva jezičnog modela. Atributna leća pomaže istraživačima i inženjerima da bolje razumiju strukturu znanja modela i potencijalno identificiraju i rješavaju bilo kakve netočnosti.
U budućnosti, istraživači planiraju dublje istražiti kako su činjenice pohranjene kada ne slijede linearne obrasce. Također namjeravaju provesti eksperimente s većim jezičnim modelima kako bi potvrdili jesu li ove jednostavne funkcije istinite na široj skali. Ova istraživanja imaju potencijal za unapređenje našeg razumijevanja jezičnih modela i poboljšanje njihove uspješnosti u različitim područjima.
Često postavljana pitanja (FAQ)
Q: Što su veliki jezični modeli?
A: Veliki jezični modeli, također poznati kao modeli transformatora, su modeli umjetne inteligencije koji obrađuju i razumiju ljudski jezik. Posebno su korisni za zadatke poput podrške korisnicima, generiranja koda i prevođenja jezika.
Q: Kako istraživači istražuju velike jezične modele?
A: Istraživači koriste tehnike za otkrivanje mehanizama kako veliki jezični modeli pronalaze i dekodiraju pohranjeno znanje. U ovom istraživanju, istraživači su identificirali i proučavali jednostavne linearne funkcije koje ovi modeli često koriste za pronalaženje činjenica.
Q: Kako ovo istraživanje može pomoći poboljšanju točnosti jezičnih modela?
A: Razumijevanjem jednostavnih funkcija koje jezični modeli koriste za pronalaženje činjenica, istraživači mogu potencijalno identificirati i ispraviti lažne informacije pohranjene unutar modela. To bi moglo smanjiti slučajeve netočnih ili besmislenih odgovora koje pružaju AI chatboti.
Q: Što je “atributna leća”?
A: Atributna leća je alat za vizualizaciju koji su razvili istraživači kako bi mapirali gdje su pohranjene specifične informacije o odnosima unutar slojeva jezičnog modela. Ovaj alat pomaže istraživačima i inženjerima da bolje razumiju znanje modela.
Q: Koji su budući smjerovi istraživanja za ovo istraživanje?
A: Istraživači planiraju dalje istražiti kako su činjenice pohranjene kada ne slijede linearne obrasce. Također namjeravaju provesti eksperimente s većim jezičnim modelima kako bi potvrdili svoje nalaze na većoj skali.
Za više informacija, molimo pogledajte članak MIT News-a o ovom istraživanju: [https://news.mit.edu/2021/artificial-intelligence-linguistics-0506](https://news.mit.edu/2021/artificial-intelligence-linguistics-0506)
The source of the article is from the blog enp.gr