Zinātnieku komanda no Ķeđanjas Universitātes, Singapūras Nacionālās Universitātes, Kalifornijas Universitātes, Ant Group un Alibaba Group ir veikusi pētījumu, pievēršoties zināšanu rediģēšanai liellopu valodas modeļiem (LLM). Pēdējā laikā LLM ir apliecinājuši savu spēju apstrādāt un iegaumēt plašas zināšanas, pārspējot cilvēku spējas.
Lai nodrošinātu mākslīgā intelekta (AI) sistēmu taisnīgumu un drošību, ir būtiski saprast, kā LLM parāda un apstrādā informāciju. Šis pētījums mērķē uz zināšanu rediģēšanas tehniku vēsturi un pašreizējo stāvokli LLM. Pētnieki sniedz pārskatu par LLM dizainu, kā tiek glabātas zināšanas, kā arī par saistītajām pieejām, piemēram, parametru efektīva adaptācija, zināšanu papildināšana, turpmākā mācīšanās un mašīnu mēcīšana.
Pētnieki klasificē zināšanu rediģēšanas stratēģijas LLM trīs kategorijās: iekšējās zināšanu rediģēšanas metodes, zināšanu apvienošana modeļī un atkarība no ārējām zināšanām. Šīs stratēģijas iedvesmo cilvēka kognitīvie procesi, piemēram, atpazīšana, asociācija un mācīšanās pārvaldības posmi.
Pētījumā ietvertie eksperimenti tika veikti ar divpadsmit dabiskās valodas apstrādes datu kopām, rūpīgi ņemot vērā veiktspēju, lietojamību, pamatmekānismus un citus faktorus. Pētnieki izveidoja vērtēšanas kritēriju, ko dēvē par KnowEdit, lai novērtētu informācijas ievietošanu, modificēšanu un dzēšanu, izmantojot nākotnes labākos LLM zināšanu rediģēšanas tehnikas.
Rezultāti demonstrē, kā zināšanu rediģēšana ietekmē vispārējās uzdevumus un daudzuzdevumu zināšanu rediģēšanu, parādot, ka tā veiksmīgi atjaunina faktus, neietekmējot būtiski modeļa kognitīvās spējas un pielāgojamību dažādās zināšanu jomās. Turklāt pētnieki izpēta zināšanu rediģēšanas ierobežojumus un potenciālās sekas LLM.
Pētījumā tiks apspriestas dažādas zināšanu rediģēšanas pielietojuma jomas, tostarp uzticamā AI, efektīva mašīnmācīšanās, AI radīt saturs un individualizēti aģenti cilvēka-dators mijiedarbībā. Pētnieki cer, ka šis pētījums stimulēs turpmāku izpēti LLM, ar uzsvaru gan uz efektivitāti, gan radošumu.
Pētnieki ir padarījuši visas savas resursus publiski pieejamas, tai skaitā kodu, datu sadalījumus un apmācītu modeļa kontrolpunktu, lai veicinātu vairāk pētījumu šajā jomā.
The source of the article is from the blog smartphonemagazine.nl