Pētnieki no MIT un citām iestādēm ir atklājuši interesantu faktu par lieliem valodu modeļiem (LLM), kā, piemēram, tie, kas tiek izmantoti populāros AI tērzēšanas robotos, piemēram, ChatGPT. Šie modeļi, kas ir neaprakstāmi sarežģīti, bieži vien spēj izgūt un atkodēt saglabātos zināšanas, izmantojot ļoti vienkāršu lineāru funkciju. Šī atziņa sniedz ieskatu par to, kā šie modeļi darbojas un varētu būt ietekme uz to precizitāti.
Pētnieki izstrādāja tehniku, lai identificētu lineāras funkcijas dažādu faktu kodēšanai un atgūšanai LLM. Izpētot šīs funkcijas, viņi ieguva ieskatu par to, kāds ir modela zināšanas līmenis par dažādām tēmām un kur šīs zināšanas tiek glabātas modelī. Viņi atklāja, ka pat tad, ja modelis sniedz nepareizu atbildi uz pieprasījumu, tas bieži vien joprojām saglabā pareizo informāciju. Tas liecina, ka šīs vienkāršās funkcijas varētu potenciāli tikt izmantotas, lai identificētu un labotu nepatiesības modelī, samazinot nepareizu vai nesakarīgu atbilžu varbūtību.
Lai gan ne visas faktu izteikšanas un atgūšanas metodes ir lineāras, šo vienkāršo funkciju atklāšana nodrošina vērtīgu rīku, lai saprastu lielu valodu modeļu iekšējo darbību. Pētnieki arī izstrādāja vizualizācijas tehniku, ko sauc par “atribūtu lēcienu”, lai kartētu, kur tiek saglabāta specifiska informācija par attiecībām modeļa slāņos. Šī vizualizācijas rīka var palīdzēt pētniekiem un inženieriem labāk saprast modeļa struktūru un iespējami atrast un novērst jebkādas neprecizitātes.
Nākotnē pētnieki plāno padziļināt ieskatu par to, kā faktu tiek saglabāti, ja tie nesekmē lineāru modeļu veidu. Viņi arī plāno veikt eksperimentus ar vēl lielākiem valodu modeļiem, lai pārbaudītu, vai šīs vienkāršās funkcijas saglabājas uz plašāka mēroga. Šī pētījuma rezultātā var tikt uzlabota mūsu izpratne par valodu modeļiem un uzlabota to veiktspēja dažādās jomās.
Bieži uzdotie jautājumi (BUJ)
J: Kas ir lielie valodu modeļi?
A: Lielie valodu modeļi, arī zināmi kā transformeru modeļi, ir mākslīgā intelekta modeļi, kas apstrādā un saprot cilvēku valodu. Tie ir īpaši noderīgi uzdevumos kā klientu atbalsts, koda ģenerēšana un valodas tulkošana.
J: Kā pētnieki izmeklē lielos valodu modeļus?
A: Pētnieki izmanto tehnikas, lai atklātu mehānismus, kas nepieciešami, lai lielie valodu modeļi atgūtu un atšifrētu saglabātās zināšanas. Šajā pētījumā pētnieki identificēja un pētīja vienkāršos lineāros modeļus, ko šie modeļi bieži vien izmanto, lai iegūtu faptus.
J: Kā šie pētījumi var palīdzēt uzlabot valodu modeļu precizitāti?
A: Saprotot vienkāršās funkcijas, ko izmanto valodu modeļi, lai atgūtu faptus, pētnieki var potenciāli identificēt un labot nepatiesu informāciju, kas saglabāta modeļos. Tas varētu samazināt gadījumus, kad AI tērzēšanas roboti sniedz nepareizus vai nesakarīgus atbilžu.
J: Kas ir “atribūtu lēciens”?
A: “Atribūtu lēciens” ir vizualizācijas rīks, ko izstrādāja pētnieki, lai kartētu, kur tiek saglabāta konkrēta informācija par attiecībām valodu modeļa slāņos. Šis rīks palīdz pētniekiem un inženieriem labāk saprast modeļa zināšanas.
J: Kādi ir šī pētījuma nākotnes virzieni?
A: Pētnieki plāno padziļināties par to, kā fapti ir saglabāti, ja tie nesekmē lineāru veidu. Viņi arī mērķē uz eksperimentiem ar lielākiem valodu modeļiem, lai apstiprinātu savus atklājumus plašā mērogā.
The source of the article is from the blog macnifico.pt