NVIDIA, azienda leader nelle tecnologie di intelligenza artificiale generativa, ha annunciato significativi miglioramenti delle prestazioni nei suoi benchmark MLPerf. Le GPU dell’architettura Hopper dell’azienda, potenziate da TensorRT-LLM, hanno mostrato un notevole aumento delle prestazioni del 3x nel GPT-J LLM rispetto ai risultati di soli sei mesi fa.
Questi miglioramenti delle prestazioni sottolineano gli sforzi continui di NVIDIA per consolidare la propria posizione dominante nel campo dell’intelligenza artificiale generativa. Sfruttando TensorRT-LLM, specificamente progettato per ottimizzare i task di inferenza per grandi modelli di linguaggio (LLM), NVIDIA ha permesso alle aziende all’avanguardia dell’innovazione di ottimizzare i propri modelli. Ciò è stato ulteriormente facilitato da NVIDIA NIM, una suite di microservizi di inferenza che include potenti motori come TensorRT-LLM. L’approccio integrato offerto da NVIDIA NIM semplifica il rilascio della piattaforma di inferenza di NVIDIA, fornendo alle imprese efficienza e flessibilità senza pari.
I recenti benchmark MLPerf hanno anche messo in risalto le capacità delle ultime GPU H200 Tensor Core di NVIDIA quando eseguono TensorRT-LLM. Queste GPU potenziate per la memoria, facendo il loro debutto nell’arena MLPerf, hanno raggiunto un throughput eccezionale, generando fino a 31.000 token al secondo nel benchmark Llama 2 70B. Questo mette in risalto le impressionanti capacità di intelligenza artificiale generativa dell’hardware più recente di NVIDIA.
Oltre ai guadagni di prestazione, NVIDIA ha compiuto significativi progressi nella gestione termica con le sue GPU H200. Soluzioni personalizzate nella gestione termica hanno contribuito a un aumento delle prestazioni fino al 14%. Ciò è esemplificato dalle creative implementazioni dei design NVIDIA MGX da parte degli costruttori di sistemi, che hanno ulteriormente migliorato le capacità di prestazione delle GPU Hopper.
Mentre NVIDIA continua a innovare, ha già iniziato a distribuire le GPU H200 a circa 20 importanti costruttori di sistemi e fornitori di servizi cloud. Queste GPU, con un’impressionante larghezza di banda della memoria di quasi 5 TB/secondo, offrono prestazioni eccezionali, in particolare nelle valutazioni MLPerf con intensità di memoria, come nei sistemi di raccomandazione.
L’impegno di NVIDIA nel superare i limiti della tecnologia dell’intelligenza artificiale è evidente dall’adozione di tecniche come la sparsetà strutturata. Utilizzando la sparsetà strutturata, un approccio mirato a ridurre i calcoli, gli ingegneri di NVIDIA hanno ottenuto miglioramenti di velocità fino al 33% nell’inferenza con Llama 2. Questo dimostra la dedizione dell’azienda nel fornire soluzioni AI efficienti e ad alte prestazioni.
Guardando al futuro, il fondatore e CEO di NVIDIA, Jensen Huang, ha rivelato durante la recente conferenza GTC che le prossime GPU dell’architettura NVIDIA Blackwell offriranno livelli di prestazioni ancora più elevati. Queste GPU saranno specificamente progettate per soddisfare le crescenti richieste dei grandi modelli di linguaggio, consentendo l’addestramento e l’inferenza di modelli AI multi-parametrici fino a trilioni.
Domande Frequenti
The source of the article is from the blog toumai.es