Mentre la tecnologia IA generativa ha fatto progressi rapidi negli ultimi anni, l’ex dirigente di Salesforce Richard Socher ritiene che ci sia ancora margine di miglioramento. In un podcast di Harvard Business Review, Socher ha discusso di come possiamo portare i modelli di linguaggio di grandi dimensioni a un livello superiore spingendoli a rispondere a prompt di codice anziché solo prevedere il prossimo token.
Attualmente, i modelli di linguaggio di grandi dimensioni si basano sulla previsione del prossimo token sulla base dei dati precedenti. Sebbene questi modelli dimostrino una comprensione della lettura e delle capacità di programmazione impressionanti, spesso soffrono di allucinazioni, producendo errori fattuali come se fossero veri. Ciò diventa particolarmente problematico di fronte a domande matematiche complesse.
Socher ha fornito un esempio di domanda con cui un modello di linguaggio di grandi dimensioni potrebbe avere difficoltà: “Se dessei a un neonato 5.000 dollari da investire in un fondo indice azionario senza spese e ipotizzando un certo percentuale di rendimenti annuali medi, quanto avranno all’età di due o cinque anni?”. Invece di analizzare attentamente la domanda e eseguire i calcoli necessari, il modello genererebbe del testo basato su domande simili incontrate in precedenza.
Per superare questa limitazione, Socher propone di “forzare” il modello a tradurre la domanda in codice informatico e generare una risposta basata su quel codice. In questo modo, il modello avrà maggiori probabilità di fornire una risposta accurata. Socher ha menzionato che nel suo motore di ricerca alimentato da intelligenza artificiale, You.com, sono stati in grado di tradurre domande in codice Python.
Contrariamente all’approccio comune di semplicemente aumentare i dati e la potenza di calcolo, Socher suggerisce che la programmazione svolgerà un ruolo cruciale nell’avanzamento dei modelli di linguaggio di grandi dimensioni. Insegnando a questi modelli a programmare, acquisiranno una comprensione più approfondita e capacità di risoluzione dei problemi più versatili. Questo approccio alla programmazione consentirà loro di affrontare compiti più complessi in futuro.
Con l’intensificarsi della concorrenza tra grandi modelli di linguaggio, con GPT-4 di OpenAI e Gemini di Google che si contendono la superiorità, il punto di vista di Socher offre un angolo nuovo sul miglioramento delle capacità dell’IA. Invece di basarsi esclusivamente sull’aumento dei dati, forzare i modelli di IA a programmare potrebbe sbloccare il loro pieno potenziale e portare a significativi progressi nel campo.
Domande frequenti sull’aggiornamento dei grandi modelli di linguaggio attraverso la programmazione
D: Qual è la sfida con i modelli di linguaggio di grandi dimensioni attuali?
R: I modelli di linguaggio di grandi dimensioni attuali presentano limitazioni nella produzione di risposte accurate di fronte a domande complesse, specialmente quelle che richiedono calcoli matematici. Spesso soffrono di allucinazioni, generando errori fattuali come se fossero veri.
D: Qual è la soluzione proposta per superare queste limitazioni?
R: Richard Socher propone di “forzare” i modelli di linguaggio di grandi dimensioni a tradurre le domande in codice informatico e generare risposte basate su quel codice. In questo modo, i modelli hanno maggiori probabilità di fornire risposte accurate.
D: Come migliora il modello la traduzione delle domande in codice?
R: Tradurre le domande in codice aiuta i modelli a ottenere una comprensione più approfondita delle domande e consente loro di eseguire i calcoli necessari. Questo approccio migliora le loro capacità di risoluzione dei problemi e aumenta la probabilità di ottenere risposte accurate.
D: È stato implementato questo approccio in qualche motore di ricerca alimentato da intelligenza artificiale?
R: Sì, presso You.com, un motore di ricerca alimentato da intelligenza artificiale, sono stati in grado di tradurre con successo domande in codice Python per migliorare l’accuratezza delle risposte.
D: In che modo questo approccio di programmazione differisce dal tradizionale approccio di aumento dei dati e della potenza di calcolo?
R: Socher suggerisce che insegnare ai grandi modelli di linguaggio a programmare sarà cruciale per avanzare nelle loro capacità, anziché basarsi esclusivamente sull’aumento dei dati. Programmando i modelli acquisiranno una comprensione più approfondita e capacità di risoluzione dei problemi più versatili per affrontare compiti complessi in futuro.
D: In che modo il punto di vista di Socher si distingue nella concorrenza tra i grandi modelli di linguaggio?
R: Il punto di vista di Socher introduce un angolo nuovo sul miglioramento delle capacità dell’IA. Invece di basarsi esclusivamente sull’aumento dei dati, forzare i modelli di IA a programmare potrebbe sbloccare il loro pieno potenziale e portare a significativi progressi nel campo.
Termini chiave/gergo:
– Tecnologia IA generativa: Si riferisce a modelli di IA capaci di produrre contenuti originali generando nuovi dati basati su modelli e esempi di dati esistenti.
– Modelli di linguaggio: Modelli di IA specificamente progettati per generare e comprendere il linguaggio umano.
– Allucinazioni: Nel contesto dei modelli di linguaggio dell’IA, si riferisce alla produzione di errori fattuali come se fossero veri.
– Token: Nei modelli di linguaggio, un token si riferisce a un segmento di testo, di solito una parola o un carattere.
– Codice Python: Linguaggio di programmazione utilizzato da Socher come esempio di traduzione del codice per migliorare i modelli di linguaggio di grandi dimensioni.
Link correlati suggeriti:
OpenAI – sito web ufficiale di OpenAI, noto per i suoi grandi modelli di linguaggio come GPT-4.
Google – sito web ufficiale di Google, l’azienda dietro ai grandi modelli di linguaggio come Gemini.
The source of the article is from the blog mgz.com.tw