Vaikka generatiivinen tekoälytekniikka on kehittynyt viime vuosina nopeasti, entinen Salesforce johtaja Richard Socher uskoo, että kehitysomaa on yhä olemassa. Harvard Business Review -podcastissa Socher keskusteli siitä, kuinka voimme kehittää suuria kielimalleja saamalla ne vastaamaan koodinpätkiin sen sijaan, että ne vain ennustaisivat seuraavaa avainta.
Tällä hetkellä suuret kielimallit perustuvat seuraavan avaimen ennustamiseen aiemman datan perusteella. Vaikka nämä mallit osoittavat vaikuttavaa lukemisen ymmärtämistä ja koodaustaitoja, niiden ongelmana on usein harhoja, joissa ne tuottavat faktavirheitä kuin ne olisivat totta. Tämä on erityisen ongelmallista monimutkaisten matemaattisten kysymysten edessä.
Socher esitti esimerkkinä kysymyksen, johon suuri kielimalli voisi kamppailla: ”Jos antaisin vauvalle 5000 dollaria sijoitettavaksi palkkiottomaan osakemarkkinaindeksirahastoon syntymästään alkaen, olettaen tietty prosenttiosuus keskimääräisistä vuotuisista tuotoista, kuinka paljon heillä on kahden tai viiden ikävuoden välillä?” Sen sijaan, että malli harkitsisi huolellisesti kysymystä ja suorittaisi tarvittavat laskelmat, se tuottaisi tekstiä samankaltaisista kysymyksistä, joita se oli havainnut aiemmin.
Tämän rajoituksen voittamiseksi Socher ehdottaa mallin ”pakottamista” kääntämään kysymys tietokonekoodiksi ja tuottamaan vastauksen kyseisen koodin perusteella. Tällä tavoin malli todennäköisemmin antaa tarkemman vastauksen. Socher mainitsi, että heidän AI-tehostettuun hakukoneeseensa, You.comiin, on pystytty kääntämään kysymyksiä Python-koodiksi.
Toisin kuin yleinen lähestymistapa, jossa keskitytään pelkästään tiedon ja laskentatehon skaalaamiseen, Socher ehdottaa ohjelmoinnin olevan ratkaisevassa asemassa suurten kielimallejen kehityksessä. Opettamalla näille malleille koodaamista niiden ymmärrys syvenee ja ne saavat monipuolisemmat ongelmanratkaisukyvyt. Tämä ohjelmointilähestymistapa mahdollistaa monimutkaisempien tehtävien ratkaisemisen tulevaisuudessa.
Kun suurten kielimallien välinen kilpailu kovenee OpenAI:n GPT-4:n ja Googlen Geminin välillä, Socherin näkemys tarjoaa tuoreen näkökulman tekoälyn kyvykkyyksien edistämiseen. Sen sijaan, että luotetaan pelkästään tietomäärän kasvattamiseen, AI-mallien pakottaminen koodaamaan voisi avata niiden täyden potentiaalin ja johtaa merkittäviin edistysaskeleisiin alalla.
Usein kysytyt kysymykset (UKK) suurten kielimallien parantamisesta koodaamisen kautta
K: Mikä on nykyisten suurten kielimallien haaste?
V: Nykyisillä suurilla kielimalleilla on rajoituksia tarkkojen vastausten tuottamisessa monimutkaisiin kysymyksiin, erityisesti niihin, jotka vaativat matemaattisia laskutoimituksia. Ne kärsivät usein harhoista, joissa ne tuottavat faktavirheitä kuin ne olisivat totta.
K: Mikä on ehdotettu ratkaisu näiden rajoitusten voittamiseksi?
V: Richard Socher ehdottaa suurten kielimallien ”pakottamista” kääntämään kysymykset tietokonekoodiksi ja tuottamaan vastaukset kyseisen koodin perusteella. Tällä tavalla mallit todennäköisemmin antavat tarkkoja vastauksia.
K: Miten kysymysten kääntäminen koodiksi parantaa malleja?
V: Kysymysten kääntäminen koodiksi auttaa malleja ymmärtämään syvällisemmin kysymykset ja mahdollistaa tarvittavien laskutoimitusten suorittamisen. Tämä lähestymistapa tehostaa niiden ongelmanratkaisukykyjä ja lisää tarkkojen vastausten todennäköisyyttä.
K: Onko tätä lähestymistapaa toteutettu missään tekoälyn tehostamassa hakukoneessa?
V: Kyllä, You.com-nimisessä tekoälyn tehostamassa hakukoneessa he ovat onnistuneesti kääntäneet kysymyksiä Python-koodiksi parantaakseen vastausten tarkkuutta.
K: Miten tämä koodaamislähestymistapa eroaa perinteisestä tiedon ja laskentatehon skaalaamisesta?
V: Socher ehdottaa, että suurien kielimallien koodaamisen opettaminen on ratkaisevan tärkeää niiden kyvykkyyksien kehittämisessä, sen sijaan että luotetaan pelkästään tiedon skaalaamiseen. Ohjelmoimalla mallit ne ymmärtävät syvällisemmin ja niillä on monipuolisemmat ongelmanratkaisukyvyt monimutkaisten tehtävien ratkaisemiseksi tulevaisuudessa.
K: Miten Socherin näkemys erottuu suurten kielimallien kilpailusta?
V: Socherin näkemys tuo tuoretta näkökulmaa tekoälyn kyvykkyyksien edistämiseen. Sen sijaan, että luotetaan pelkästään tietomäärän kasvattamiseen, AI-mallit pakotetaan koodaamaan voisi avata niiden täyden potentiaalin ja johtaa merkittäviin edistysaskeleisiin alalla.
Keskeiset termit/slangi:
– Generatiivinen tekoälytekniikka: Viittaa tekoälymalleihin, jotka pystyvät tuottamaan alkuperäistä sisältöä luomalla uutta dataa perusteenaan olevista malleista ja esimerkeistä.
– Kielimallit: Tekoälymallit, jotka on erityisesti suunniteltu tuottamaan ja ymmärtämään inhimillistä kieltä.
– Harhat: Tekoälyn kielimalleissa faktavirheiden tuottaminen kuin ne olisivat totta.
– Avain: Kielimalleissa avain viittaa tekstinpätkään, yleensä sanaan tai merkkiin.
– Python-koodi: Koodaamisen kieli, jonka avulla Socher esittää esimerkkejä koodin kääntämisestä suurten kielimallien parantamiseksi.
Ehdotetut liittyvät linkit:
OpenAI – OpenAI:n virallinen verkkosivusto, joka tunnetaan suurista kielimalleistaan kuten GPT-4.
Google – Googlen virallinen verkkosivusto, joka on suurten kielimallien kuten Geminin takana.
The source of the article is from the blog exofeed.nl