Mens generativ kunstig intelligens-teknologi har utviklet seg raskt de siste årene, mener tidligere Salesforce-direktør Richard Socher at det fortsatt er rom for forbedring. I en podcast fra Harvard Business Review diskuterte Socher hvordan vi kan heve nivået på store språkmodeller ved å få dem til å svare på utfordringer i kode i stedet for bare å forutsi neste token.
For øyeblikket er store språkmodeller avhengige av å forutsi neste token basert på tidligere data. Selv om disse modellene viser imponerende leseforståelse og programmeringsferdigheter, lider de ofte av hallusinasjoner der de produserer faktiske feil som om de var sanne. Dette blir spesielt problematisk når de står overfor komplekse matematiske spørsmål.
Socher ga et eksempel på et spørsmål som en stor språkmodell kan slite med: «Hvis jeg gir en baby 5000 dollar ved fødselen for å investere i en aksjeindeksfond uten gebyrer, og antar en viss prosentandel av årlig avkastning, hvor mye vil de ha når de er to til fem år?» I stedet for å vurdere spørsmålet nøye og utføre de nødvendige beregningene, ville modellen generere tekst basert på lignende spørsmål den hadde møtt tidligere.
For å overvinne denne begrensningen foreslår Socher å «tvinge» modellen til å oversette spørsmålet til datamaskinkode og generere et svar basert på den koden. Ved å gjøre det er det mer sannsynlig at modellen gir et nøyaktig svar. Socher nevnte at hos hans AI-drevne søkemotor, You.com, har de klart å oversette spørsmål til Python-kode.
I motsetning til den vanlige tilnærmingen med bare å skalere opp data og beregningskraft, foreslår Socher at programmering vil spille en avgjørende rolle i å forbedre store språkmodeller. Ved å lære disse modellene å kode, vil de få en dypere forståelse og mer allsidige problemløsningskapasiteter. Denne programmeringsmetoden vil gjøre dem i stand til å takle mer komplekse oppgaver i fremtiden.
Mens konkurransen blant store språkmodeller intensiveres, med OpenAIs GPT-4 og Googles Gemini som kjemper om overlegenhet, gir Sochers perspektiv en frisk tilnærming til å utvikle AI-kapasiteter. I stedet for bare å stole på å skalere opp data, kan det å tvinge AI-modeller til å kode låse opp deres fulle potensiale og føre til betydelige fremskritt innen feltet.
Ofte stilte spørsmål (FAQ) om forbedring av store språkmodeller gjennom koding
Spørsmål: Hva er utfordringen med nåværende store språkmodeller?
Svar: Nåværende store språkmodeller har begrensninger når det gjelder å produsere nøyaktige svar på komplekse spørsmål, spesielt de som krever matematiske beregninger. De lider ofte av hallusinasjoner der de genererer faktiske feil som om de var sanne.
Spørsmål: Hva er den foreslåtte løsningen for å overvinne disse begrensningene?
Svar: Richard Socher foreslår å «tvinge» store språkmodeller til å oversette spørsmål til datamaskinkode og generere svar basert på den koden. Ved å gjøre det er modellene mer sannsynlig å gi nøyaktige svar.
Spørsmål: Hvordan forbedrer oversettelse av spørsmål til kode modellene?
Svar: Oversettelse av spørsmål til kode hjelper modellene med å oppnå en dypere forståelse av spørsmålene og gjør dem i stand til å utføre nødvendige beregninger. Denne tilnærmingen forbedrer deres problemløsningsevner og øker sannsynligheten for nøyaktige svar.
Spørsmål: Har denne tilnærmingen blitt implementert i noen AI-drevet søkemotor?
Svar: Ja, hos You.com, en AI-drevet søkemotor, har de med suksess oversatt spørsmål til Python-kode for å forbedre nøyaktigheten av svarene.
Spørsmål: Hvordan skiller denne kodingsmetoden seg fra den tradisjonelle tilnærmingen med skalering av data og beregningskraft?
Svar: Socher antyder at det å lære store språkmodeller å kode vil være avgjørende for å utvikle deres evner, i stedet for bare å stole på å skalere opp data. Ved å programmere modellene får de en dypere forståelse og mer allsidige problemløsningsferdigheter for å takle komplekse oppgaver i fremtiden.
Spørsmål: Hvordan skiller Sochers perspektiv seg fra konkurransen blant store språkmodeller?
Svar: Sochers perspektiv presenterer en ny tilnærming til å utvikle AI-kapasiteter. I stedet for bare å stole på å skalere opp data, kan det å tvinge AI-modeller til å kode låse opp deres fulle potensiale og føre til betydelige fremskritt innen feltet.
Nøkkelbegreper/fagsjargong:
– Generativ AI-teknologi: Refererer til AI-modeller som er i stand til å produsere originalt innhold ved å generere nye data basert på mønstre og eksempler fra eksisterende data.
– Språkmodeller: AI-modeller som er spesifikt designet for å generere og forstå menneskelig språk.
– Hallusinasjoner: I sammenheng med AI-språkmodeller refererer dette til produksjonen av faktiske feil som om de var sanne.
– Token: I språkmodeller er en token et tekstsegment, vanligvis et ord eller et tegn.
– Python-kode: Programmeringsspråket som Socher brukte som et eksempel på kodeoversettelse for å forbedre store språkmodeller.
Foreslåtte relaterte lenker:
OpenAI – offisiell nettside for OpenAI, kjent for sine store språkmodeller som GPT-4.
Google – offisiell nettside for Google, selskapet bak store språkmodeller som Gemini.
The source of the article is from the blog qhubo.com.ni