Lai gan generējošās AI tehnoloģijas ir strauji attīstījušās pēdējo gadu laikā, bijušais Salesforce izpilddirektors Ričards Socher uzskata, ka joprojām ir vieta uzlabojumiem. Harvardas Biznesa pārskatu podkāstā Socher apsprieda, kā mēs varam uzlabot lielos valodu modeļus, liekot tiem reaģēt uz pieteikumiem programmēšanas kodā, ne tikai paredzot nākamo tokenu.
Pašlaik lielie valodu modeļi balstās uz nākamā tokena paredzēšanu pamatojoties uz iepriekšējiem datiem. Lai gan šie modeļi demonstrē iespaidīgu lasīšanas sapratni un programmēšanas prasmes, tie bieži cieš no halucinācijām, kad tie ražo faktiskas kļūdas tā, it kā tās būtu patiesas. Tas kļūst īpaši problēmatiski, saskaraties ar sarežģītiem matemātiskiem jautājumiem.
Socher sniedza piemēru par jautājumu, ar ko liels valodu modelis varētu nesaprasties: “Ja piedāvātu bērnam 5 000 ASV dolārus dzimšanas brīdī, lai ieguldītu bezmaksa akciju indeksa fondā, un, ņemot vērā noteiktu procentuālo vidējo gadījuma atdeves līmeni, cik daudz viņiem būs no diviem līdz pieciem gadiem?” Tā vietā, lai rūpīgi apsvērtu jautājumu un veiktu nepieciešamos aprēķinus, modelis iegūtu tekstu, pamatojoties uz līdzīgiem jautājumiem, ar kuriem tas iepriekš saskārās.
Lai pārvarētu šo ierobežojumu, Socher ierosina “spiest” modelim tulkojumu jautājumu programmēšanas kodā un ģenerēt atbildi, pamatojoties uz šo kodu. Tā darot, modelim ir lielāka iespēja sniegt precīzu atbildi. Socher pieminēja, ka viņa ar AI vadītā meklētājmotoru You.com ir spējusi tulkojumā jautājumus Python kodā.
Atšķirībā no parastā pieejas, vienkārši palielinot datus un skaitītāju jaudu, Socher iesaka programmēšanai būt būtiskai lomai lielos valodu modeļos. Mācot šiem modeļiem kodēt, tie iegūs dziļāku sapratni un daudzpusīgākas problēmu risināšanas spējas. Šī programmēšanas pieeja ļaus tiem risināt sarežģītākas uzdevumus nākotnē.
Konkurējot starp lieliem valodu modeļiem, ar OpenAI GPT-4 un Google Gemini cīnoties par pārākumu, Socher perspektīva sniedz jaunu skatu uz AI spēju attīstību. Tā vietā, lai vienīgi paļautos uz datu palielināšanu, spiest AI modeļus kodēt varētu atbrīvot viņu pilno potenciālu un novest pie ievērojamiem progresa līmeņiem šajā jomā.
Bieži uzdotie jautājumi (BUJ) par lielo valodu modeļu uzlabošanu, izmantojot kodēšanu
J: Kādas ir problēmas ar pašreizējiem lielajiem valodu modeļiem?
A: Pašreizējiem lielajiem valodu modeļiem ir ierobežojumi attiecībā uz precīzu atbilžu sniegšanu sarežģītiem jautājumiem, it īpaši tiem, kas prasa matemātiskus aprēķinus. Tie bieži cieš no halucinācijām, radot faktiskas kļūdas tā, it kā tās būtu patiesas.
J: Kāda ir ierosinātā risinājums, lai pārvarētu šos ierobežojumus?
A: Ričards Socher ierosina “spiest” lielos valodu modeļus tulkojumā jautājumus programmēšanas kodā un ģenerēt atbildes, pamatojoties uz šo kodu. Tā darot, modeļi ir lielāka iespēja sniegt precīzas atbildes.
J: Kā tulkošana jautājumu kodā uzlabo modeļus?
A: Jautājumu tulkošana kodē palīdz modeļiem iegūt dziļāku jautājumu sapratni un ļauj veikt nepieciešamos aprēķinus. Šāda pieeja uzlabo to problēmu risināšanas spējas un palielina precīzu atbilžu iespējamību.
J: Vai šī pieeja ir ieviesta kādā AI vadītā meklētājmotorā?
A: Jā, You.com AI vadītā meklētājmotorā ir veiksmīgi tulkojuši jautājumus Python kodā, lai uzlabotu atbilžu precizitāti.
J: Kā šī kodēšanas pieeja atšķiras no tradicionālās pieejas, palielinot datus un skaitītāju jaudu?
A: Socher norāda, ka lielo valodu modeļu mācīšana programmēšanai būs būtiska, lai attīstītu to spējas, ne tikai paļaujoties uz datu palielināšanu. Programmatūras pieeja ļauj modeļiem iegūt dziļāku sapratni un daudzpusīgākas problēmu risināšanas prasmes sarežģītākiem uzdevumiem nākotnē.
J: Kā Socher perspektīva izcēlās lielo valodu modeļu konkurencē?
A: Socher perspektīva iepazīstina ar jaunu skatu uz AI spēju attīstību. Tā vietā, lai vienīgi paļautos uz datu palielināšanu, spiest AI modeļus kodēt varētu atbrīvot viņu pilno potenciālu un novest pie ievērojamiem progresa līmeņiem šajā jomā.
Būtiskie termini/jargonu:
– Generatīvās AI tehnoloģijas: Attiecas uz AI modeļiem, kas spēj radīt oriģinālu saturu, ģenerējot jaunus datus, pamatojoties uz šabloniem un piemēriem no esošiem datiem.
– Valodu modeļi: AI modeļi, kas speciāli izstrādāti, lai ģenerētu un saprastu cilvēka valodu.
– Halucinācijas: AI valodu modeļu kontekstā atsaucas uz faktisku kļūdu radīšanu kā patiesam.
– Token: Valodu modeļos “token” attiecas uz teksta segmentu, parasti vārdu vai rakstzīmi.
– Python kods: programmēšanas valoda, ko Socher izmanto kā piemēru kodu tulkošanai, lai uzlabotu lielus valodu modeļus.
Ieteiktie saistītie resursi:
– OpenAI – OpenAI oficiālā mājaslapa, pazīstama ar liela mēroga valodu modeļiem, piemēram, GPT-4.
– Google – Google oficiālā mājaslapa, uzņēmums, kas pārrauga liela mēroga valodu modeļus, piemēram, Gemini.
The source of the article is from the blog radiohotmusic.it