Tehnologia AI generativă a avansat rapid în ultimii ani, însă fostul executiv Salesforce, Richard Socher, crede că există încă loc de îmbunătățire. Într-un podcast pentru Harvard Business Review, Socher a discutat despre modul în care putem dezvolta modele de limbaj vaste prin încurajarea lor să răspundă la prompt-uri în cod, în loc să prezică doar următorul token.
În prezent, modelele de limbaj vaste se bazează pe prezicerea următorului token pe baza datelor anterioare. Deși aceste modele demonstrează un nivel impresionant de înțelegere a textelor și de abilități de codare, deseori se confruntă cu halucinații, producând erori faptuale ca și cum ar fi adevărate. Aceasta devine problematică în special în cazul întrebărilor matematice complexe.
Socher a dat exemplul unei întrebări cu care un model de limbaj vast poate avea dificultăți: „Dacă aș da unui bebeluș 5000 de dolari la naștere pentru a-i investi într-un fond de indici bursieri fără comision și, având în vedere un anumit procent de randament anual mediu, câți bani va avea între doi și cinci ani?” În loc să ia în considerare cu atenție întrebarea și să facă calculele necesare, modelul va genera text bazat pe întrebări similare cu care s-a confruntat anterior.
Pentru a depăși această limitare, Socher propune să „forțăm” modelul să traducă întrebarea în cod de calculator și să genereze un răspuns bazat pe acel cod. Prin acest proces, modelul este mai probabil să furnizeze un răspuns precis. Socher a menționat că la motorul de căutare cu AI You.com, ei au reușit să traducă întrebări în cod Python.
În contrast cu abordarea obișnuită de simplă extindere a datelor și a puterii de calcul, Socher sugerează că programarea va juca un rol crucial în avansarea modelelor de limbaj vaste. Prin învățarea acestor modele să codeze, ele vor dobândi o înțelegere mai profundă și abilități mai versatile de rezolvare a problemelor. Această abordare de programare le va permite să abordeze sarcini mai complexe în viitor.
În timp ce competiția între modelele de limbaj vaste se intensifică, cu GPT-4 al OpenAI și Gemini al Google luptând pentru superioritate, perspectiva lui Socher aduce o nouă viziune asupra dezvoltării capacităților de AI. În loc să depindem exclusiv de extinderea datelor, forțarea modelelor de AI să codeze ar putea debloca întregul lor potențial și duce la progrese semnificative în domeniu.
Întrebări frecvente (FAQ) despre îmbunătățirea modelelor de limbaj vaste prin programare
Q: Care este provocarea cu modelele actuale de limbaj vast?
R: Modelele actuale de limbaj vast au limite în furnizarea de răspunsuri precise în fața întrebărilor complexe, în special celor care necesită calcule matematice. Adesea, ele se confruntă cu halucinații, generând erori faptuale ca și cum ar fi adevărate.
Q: Care este soluția propusă pentru depășirea acestor limite?
R: Richard Socher propune „forțarea” modelului de limbaj vast să traducă întrebările în cod de calculator și să genereze răspunsurile bazate pe acel cod. În acest fel, modelele sunt mai susceptibile să ofere răspunsuri precise.
Q: Cum îmbunătățește traducerea întrebărilor în cod modelele?
R: Traducerea întrebărilor în cod ajută modelele să obțină o înțelegere profundă a acestora și să efectueze calculele necesare. Această abordare îmbunătățește capacitățile lor de rezolvare a problemelor și crește probabilitatea obținerii de răspunsuri precise.
Q: A fost implementată această abordare în vreun motor de căutare cu AI?
R: Da, la You.com, un motor de căutare cu AI, ei au reușit să traducă întrebări în cod Python pentru a îmbunătăți precizia răspunsurilor.
Q: Cum se diferențiază această abordare de abordarea tradițională de extindere a datelor și a puterii de calcul?
R: Socher sugerează că învățarea modelelor de limbaj vast să codeze va fi crucială în dezvoltarea capacităților acestora, în loc să depindem exclusiv de extinderea datelor. Prin programarea modelelor, ele dobândesc o înțelegere mai profundă și abilități mai versatile de rezolvare a problemelor pentru a aborda sarcini complexe în viitor.
Q: Ce face perspectiva lui Socher să se evidențieze în competiția dintre modelele de limbaj vast?
R: Perspectiva lui Socher aduce o nouă viziune asupra dezvoltării capacităților de AI. În loc să ne bazăm exclusiv pe extinderea datelor, forțarea modelelor de AI să codeze ar putea debloca întregul lor potențial și ar putea duce la progrese semnificative în domeniu.
Termeni cheie/Jargon:
– Tehnologia AI generativă: Se referă la modelele de AI capabile să producă conținut original prin generarea de date noi pe baza modelelor și a exemplelor din datele existente.
– Modele de limbaj: Modele de AI special concepute pentru a genera și a înțelege limbajul uman.
– Halucinații: În contextul modelelor de limbaj AI, se referă la producerea de erori faptuale ca și cum ar fi adevărate.
– Token: În modelele de limbaj, un token se referă la un segment de text, de obicei un cuvânt sau un caracter.
– Cod Python: Limbaj de programare folosit de Socher ca exemplu pentru traducerea în cod în scopul îmbunătățirii modelelor de limbaj vast.
Link-uri sugerate asociate:
OpenAI – site-ul oficial al OpenAI, cunoscut pentru modelele lor de limbaj vast, precum GPT-4.
Google – site-ul oficial al Google, compania din spatele modelelor de limbaj vast precum Gemini.
The source of the article is from the blog smartphonemagazine.nl