Il rilascio di OpenAI Sora ha suscitato sia entusiasmo che preoccupazione in vari campi, tra cui scienza, arte e politica. Sebbene la qualità dei video generati da Sora sia innegabilmente impressionante rispetto ai video generati da intelligenze artificiali precedenti, ci sono ancora difetti fondamentali che devono essere affrontati prima che la tecnologia possa essere utilizzata in modo efficace in produzione.
Purtroppo, OpenAI ha fornito limitate informazioni sui modelli che alimentano Sora. Tuttavia, si sa che Sora utilizza architetture di diffusione e transformer ed è stato addestrato su grande scala grazie alle estese risorse computazionali e di dati di OpenAI. Nonostante ciò, c’è stato un divertente scambio di battute tra ricercatori, con uno che ha sottolineato che OpenAI ha utilizzato ricerche aperte di altri senza condividere le proprie.
Anche se Sora produce risultati notevoli, mostra ancora segni e artefatti che rivelano la sua mancanza di comprensione del mondo. Sebbene eccella nel catturare dettagli all’interno di singole scene e oggetti, spesso viola i principi di base della fisica e della causa-effetto. Gli oggetti possono apparire improvvisamente, le scale possono essere errate e diversi oggetti possono essere confusi. Le simulazioni degli arti sono particolarmente problematiche, con piedi e mani che si piegano in modi innaturali. Inoltre, il modello fatica a simulare con precisione scene complesse e dettagli spaziali.
Un approccio per affrontare queste limitazioni è scalare ulteriormente i modelli, come visto con i modelli basati su transformer precedenti. Tuttavia, questa opzione è costosa e accessibile principalmente alle aziende con significative risorse finanziarie e computazionali. In alternativa, esplorare diverse tecniche e metodi di addestramento potrebbe migliorare il modello attuale. Un esempio di questo approccio è come GPT-4 si è basato su GPT-3 attraverso il reinforcement learning dal feedback umano e migliori dati di addestramento. Il rapporto di OpenAI su Sora suggerisce l’uso di dati sintetici per annotare gli esempi di addestramento, una tattica che può essere ulteriormente scalata con risorse aggiuntive.
Un’altra soluzione potenziale coinvolge il ridisegno dei modelli generativi o la combinazione con altri sistemi per ottenere risultati più accurati. Ad esempio, l’output di Sora potrebbe essere passato a un campo di radianza neurale (NeRF) per generare una mappa 3D del video, che potrebbe poi essere perfezionata utilizzando un simulatore fisico come Unreal Engine. Altri modelli generativi, come StyleGAN, potrebbero essere impiegati per modificare illuminazione, stile e altri aspetti dell’output finale.
In conclusione, sebbene OpenAI Sora presenti progressi rivoluzionari nei video generati da intelligenza artificiale, ci sono ancora significativi ostacoli da superare. Esplorando approcci diversi, sfruttando i progressi nelle tecniche di addestramento e combinando i modelli con altri sistemi, il potenziale per video generati da intelligenza artificiale veramente realistici e accurati può essere realizzato. È un periodo entusiasmante per il settore, con infinite possibilità di ulteriori innovazioni e scoperte in vista.
The source of the article is from the blog maltemoney.com.br