Üksikteadlase meeskond, mis koosneb Zhejiangi ülikooli, Singapuri rahvusülikooli, California ülikooli, Ant Groupi ja Alibaba Groupi teadlastest, on läbi viinud uuringu, mis keskendub suurte keelemudelite (LLM) teadmiste redigeerimisele. LLM-id on hiljuti näidanud ülitugevat võimet töödelda ja meelde jätta ulatuslikke teadmiste kogumeid, ületades inimvõimeid.
Kunstliku Intellekti (AI) süsteemide õigluse ja turvalisuse tagamiseks on oluline mõista, kuidas LLM-id kuvavad ja töötlevad teavet. See uuring püüab uurida LLM-ide teadmiste redigeerimise tehnikate ajalugu ja praegust seisundit. Teadlased annavad ülevaate LLM-ide disainist, kuidas teadmised on salvestatud ning vastavaid lähenemisviise, nagu efektiivsete parameetrite täiendõpe, teadmiste suurendamine, jätkuv õppimine ja masina desorbiimine.
Teadlased klassifitseerivad LLM-ide teadmiste redigeerimise strateegiad kolme kategooriasse: sisemiste teadmiste meetodite redigeerimine, teadmiste sulandamine mudelisse ja väljastpoolt saadud teadmiste kasutamine. Need strateegiad põhinevad inimkognitiivsetest protsessidest nagu äratundmine, assotsieerumine ja valdamine õppimise eri etappidel.
Uuring hõlmab eksperimente, mis viidi läbi kaheteistkümnel loomuliku keele töötlemise andmekogumil, võttes hoolikalt arvesse jõudlust, kasutusmugavust, aluspõhimõtteid ja muid tegureid. Teadlased loovad nn KnowEditi, et hinnata teabesisestust, muutmist ja kustutamist kasutades tipptasemel LLM-i teadmiste redigeerimise tehnikaid.
Tulemused näitavad, kuidas teadmiste redigeerimine mõjutab üldisi ülesandeid ja mitme ülesande teadmiste redigeerimist, tõestades, et see uuendab edukalt fakte, mõjutamata oluliselt mudeli kognitiivseid võimeid ja kohanduvust erinevates teadmiste valdkondades. Lisaks uurivad teadlased teadmiste redigeerimise piiranguid ja võimalikke tagajärgi LLM-ide jaoks.
Lisaks arutleb uuring teadmiste redigeerimise laialdasest valdkonnast, sealhulgas usaldusväärsest AI-st, efektiivsest masinõppest, AI-ga loodud sisust ja individualiseeritud agendidest inimese ja arvuti koostoimimises. Teadlased loodavad, et see uuring inspireerib edasist uurimistööd LLM-ide alal, keskendudes nii tõhususele kui ka loovusele.
Teadlased on teinud kõik oma ressursid, sealhulgas koodid, andmete jagamised ja treenitud mudelite kontrollpunktide, avalikult kättesaadavaks, et julgustada rohkem uurimistööd selles valdkonnas.
The source of the article is from the blog motopaddock.nl