Medtem ko je tehnologija generativne umetne inteligence v zadnjih letih hitro napredovala, nekdanji izvršni direktor podjetja Salesforce, Richard Socher, verjame, da je še vedno prostor za izboljšave. V podcastu revije Harvard Business Review je Socher razpravljal o tem, kako lahko izboljšamo velike jezikovne modele tako, da jih spodbudimo, da odzivajo na zahteve v obliki kode, namesto da samo napovedujejo naslednji simbol.
Trenutno so veliki jezikovni modeli odvisni od napovedovanja naslednjega simbola na podlagi prejšnjih podatkov. Čeprav ti modeli kažejo impresivno razumevanje naravnega jezika in veščine programiranja, se pogosto soočajo s halucinacijami, kjer proizvajajo dejanske napake, kot da bi bile resnične. To postane še posebej problematično pri kompleksnih matematičnih vprašanjih.
Socher je ponudil primer vprašanja, s katerim se veliki jezikovni model lahko spopade: “Če bi otroku ob rojstvu dal 5.000 dolarjev za vlaganje v indeksni sklad brez provizij in ob predpostavljenem določenem odstotku povprečnega letnega donosa, koliko bo imel pri starosti dveh do petih let?” Namesto premišljenega razmisleka o vprašanju in izvajanja potrebnih izračunov bi model ustvaril besedilo na podlagi podobnih vprašanj, s katerimi se je že srečal.
Da bi premagali to omejitev, Socher predlaga “prisiljevanje” modela, da prevede vprašanje v računalniško kodo in generira odgovor na podlagi te kode. S tem je večja verjetnost, da bo model zagotovil natančen odgovor. Socher je omenil, da so pri njihovem AI-powered iskalniku You.com uspeli prevesti vprašanja v Python kodo.
V nasprotju s pogostim pristopom preprostega povečevanja podatkov in računske moči Socher predlaga, da bo programiranje odigralo ključno vlogo pri napredovanju velikih jezikovnih modelov. Z učenjem teh modelov programiranja bodo dobili globlje razumevanje in večjo sposobnost reševanja bolj raznovrstnih problemov. Ta pristop programiranja jim bo omogočil reševanje bolj kompleksnih nalog v prihodnosti.
Ko se tekma med velikimi jezikovnimi modeli stopnjuje, pri čemer OpenAI-jev GPT-4 in Googlov Gemini tekmujeta za prevlado, Socherjevo stališče nudi svež pogled na napredovanje zmogljivosti umetne inteligence. Namesto izključne osredotočenosti na povečanje podatkov, prisiljevanje AI modelov k programiranju lahko odklene njihov polni potencial in pripelje do pomembnih napredkov na tem področju.
Pogosta vprašanja (FAQ) o izboljšanju velikih jezikovnih modelov s pomočjo programiranja
V: Kakšen je izziv pri trenutnih velikih jezikovnih modelih?
O: Trenutni veliki jezikovni modeli imajo omejitve pri ustvarjanju natančnih odgovorov na kompleksna vprašanja, še posebej tista, ki zahtevajo matematične izračune. Pogosto trpijo zaradi halucinacij, kjer ustvarjajo dejanske napake, kot da bi bile resnične.
V: Katera je predlagana rešitev za premagovanje teh omejitev?
O: Richard Socher predlaga “prisiljevanje” velikih jezikovnih modelov, da prevedejo vprašanja v računalniško kodo in generirajo odgovore na podlagi te kode. S tem se povečuje verjetnost, da bodo modeli zagotovili natančne odgovore.
V: Kako prevajanje vprašanj v kodo izboljša modele?
O: Prevajanje vprašanj v kodo pomaga modelom dobiti globlje razumevanje vprašanj in omogoča izvajanje potrebnih izračunov. Ta pristop izboljšuje njihove sposobnosti reševanja problemov in povečuje verjetnost natančnih odgovorov.
V: Ali je bil ta pristop izveden v katerem koli AI-powered iskalniku?
O: Da, pri You.com, AI-powered iskalniku, so uspešno prevedli vprašanja v Python kodo za izboljšanje natančnosti odgovorov.
V: Kako se ta pristop programiranja razlikuje od tradicionalnega pristopa povečevanja podatkov in računske moči?
O: Socher predlaga, da je poučevanje velikih jezikovnih modelov programiranja ključno za napredovanje njihovih sposobnosti, namesto izključnega osredotočanja na povečanje podatkov. Z programiranjem modeli pridobijo globlje razumevanje in večjo sposobnost reševanja kompleksnih nalog v prihodnosti.
V: V čem se Socherjevo stališče razlikuje od konkurence med velikimi jezikovnimi modeli?
O: Socherjevo stališče predstavlja svež pogled na napredovanje zmogljivosti umetne inteligence. Namesto izključne osredotočenosti na povečanje podatkov, prisiljevanje AI modelov k programiranju lahko odklene njihov polni potencial in pripelje do pomembnih napredkov na tem področju.
Ključni pojmi / žargonski izrazi:
– Tehnologija generativne umetne inteligence: Se nanaša na AI modele, ki lahko ustvarjajo originalno vsebino s generiranjem novih podatkov na podlagi vzorcev in primerov iz obstoječih podatkov.
– Jezikovni modeli: AI modeli, posebej zasnovani za generiranje in razumevanje človeškega jezika.
– Halucinacije: V kontekstu AI jezikovnih modelov se nanaša na proizvajanje dejanskih napak, kot da bi bile resnične.
– Simbol: V jezikovnih modelih se simbol nanaša na segment besedila, običajno besedo ali znak.
– Python koda: Programski jezik, ki ga je Socher uporabil kot primer prevajanja kode za izboljšanje velikih jezikovnih modelov.
Predlagani povezavi:
OpenAI – uradna spletna stran podjetja OpenAI, znano po svojih velikih jezikovnih modelih, kot je GPT-4.
Google – uradna spletna stran podjetja Google, ki stoji za velikimi jezikovnimi modeli, kot je Gemini.
The source of the article is from the blog radiohotmusic.it