I sistemi di intelligenza artificiale potrebbero presto affrontare una significativa sfida a causa del possibile esaurimento dei dati testuali generati dall’uomo, fondamentali per renderli più intelligenti. Il gruppo di ricerca Epoch AI ha riportato che entro il 2026 e non oltre il 2032 il pozzo dei dati pubblicamente disponibili per addestrare i modelli linguistici di intelligenza artificiale potrebbe prosciugarsi.
L’autrice dello studio, Tamay Besiroglu, ha suggerito che senza un continuo apporto di contenuti autentici scritti dall’uomo, potrebbe essere problematico mantenere il ritmo attuale dello sviluppo dell’IA. Nel breve termine, aziende tecnologiche come OpenAI, che ha sviluppato ChatGPT, e Google, stanno competendo per garantire e a volte pagare per dati di qualità, firmando accordi per accedere ai contenuti testuali da piattaforme come Reddit e vari media.
Guardando al futuro, le risorse attualmente utilizzate di nuovi post di blog, articoli di news e commenti su social media potrebbero non essere sufficienti a sostenere la traiettoria degli avanzamenti dell’IA. Questa scarsità potrebbe costringere le aziende a considerare di attingere a dati attualmente privati e sensibili, come email personali o messaggi di testo, o di fare affidamento su dati sintetici meno affidabili generati dai chatbot stessi. Besiroglu ha evidenziato che c’è un “serio collo di bottiglia” in questo aspetto.
Questo studio sottoposto a revisione tra pari è previsto per essere presentato alla Conferenza Internazionale di Apprendimento Automatico a Vienna quest’estate. Il progetto Epoch è un’iniziativa dell’organizzazione no-profit con sede a San Francisco “Rethink Priorities”.
Besiroglu ha menzionato anche un consenso tra i ricercatori di IA che progressi significativi nelle prestazioni dei sistemi di IA potrebbero essere raggiunti ampliando la potenza di calcolo e sfruttando vaste quantità di dati su Internet. Secondo la ricerca di Epoch, i dati testuali immessi nei modelli linguistici di IA stanno aumentando circa 2,5 volte all’anno, mentre la capacità computazionale cresce di circa 4 volte ogni anno.
Nicolas Papernot, professore associato di ingegneria informatica all’Università di Toronto e ricercatore presso un istituto di ricerca su IA no-profit, non coinvolto nello studio di Epoch, ha menzionato l’importanza di comprendere che costruire modelli sempre più grandi non è una necessità. Ha suggerito che modelli specializzati per compiti specifici potrebbero portare a sistemi di IA più efficienti. Tuttavia, Papernot ha espresso preoccupazioni riguardo all’addestramento di sistemi di IA generativi con output generati dall’IA, sottolineando che potrebbe portare a una perdita di prestazioni, simile al degrado delle informazioni quando si copia continuamente un documento.
Domande chiave e risposte:
1. Perché potrebbe esserci una potenziale carenza di dati testuali per lo sviluppo dell’IA?
Potrebbe esserci una carenza a causa della quantità finita di testo generato dall’uomo disponibile pubblicamente ed eticamente utilizzabile per l’addestramento dei sistemi di IA. Poiché questi sistemi si basano pesantemente su vaste quantità di dati, la domanda in rapida crescita potrebbe sorpassare la produzione di nuovi contenuti generati dall’uomo.
2. Cosa stanno facendo aziende come OpenAI e Google per affrontare questa potenziale carenza?
Le aziende stanno cercando di garantire dati di qualità attraverso partnership e accordi con piattaforme che dispongono di ampi dataset testuali, come Reddit e vari media, per garantire un flusso costante di dati per addestrare i loro modelli di IA.
3. Quali sono le possibili alternative ai testi generati dall’uomo per l’addestramento dell’IA?
Se i testi generati dall’uomo diventano scarsi, le aziende potrebbero rivolgersi a dati privati e sensibili, il che solleva questioni etiche, oppure fare affidamento su dati sintetici prodotti dall’IA, anche se questo approccio potrebbe portare a un calo delle prestazioni dell’IA.
Sfide, controversie, vantaggi e svantaggi:
La sfida principale è come mantenere la qualità e la diversità dei dati necessari per il continuo miglioramento dei modelli di IA senza violare la privacy o gli standard etici. Una importante controversia coinvolge le considerazioni sulla privacy e sul consenso dell’utente se i dati testuali privati vengono sfruttati.
Vantaggi:
– Il continuo avanzamento dell’IA può portare a soluzioni assistite da IA migliori in tutti i settori.
– Modelli specializzati per domini o compiti particolari possono migliorare l’efficienza e le prestazioni.
Svantaggi:
– La scarsità di dati di qualità potrebbe portare a modelli inadeguati o a pregiudizi a causa della ridotta diversità dei dataset.
– Le prestazioni dell’IA potrebbero degradarsi nel tempo se si fa affidamento su dati sintetici o di minor qualità.
Fatti aggiuntivi rilevanti:
– Le normative sulla privacy dei dati, come il GDPR in Europa, potrebbero influenzare la disponibilità dei dati testuali per l’addestramento dell’IA, rendendo necessarie attente considerazioni per garantire la conformità.
– I progressi nelle tecniche di apprendimento non supervisionato e auto-supervisionato possono mitigare parzialmente il requisito di ampie quantità di dati testuali etichettati.
– È in corso una ricerca sull’apprendimento few-shot, dove l’IA può imparare da dataset molto più piccoli, riducendo potenzialmente la necessità di ampie corpora di testo.
Link autorevoli correlati sugli argomenti sono:
– Google AI
– OpenAI
– Rethink Priorities
I pro e i contro di questa situazione devono essere bilanciati con attenzione, con particolare attenzione alla privacy, ai problemi legali ed etici, poiché la corsa all’accumulo di dati potrebbe comportare costi significativi. I ricercatori e gli sviluppatori devono inoltre concentrarsi sulla creazione di modelli più efficienti in termini di dati, che possano avere buone prestazioni con quantità minori di dati o sfruttare la sintesi dati in modi responsabili.