Il supercomputer Frontier, noto come la macchina Exascale leader mondiale e unica in funzione, sta facendo avanzamenti straordinari nel campo dei modelli linguistici di grandi dimensioni (LLM). Alimentato dalle CPU EPYC e dalle GPU Instinct di AMD, il supercomputer Frontier ha raggiunto un nuovo standard dell’industria addestrando un trilione di parametri attraverso l’ottimizzazione degli iperparametri.
Il supercomputer Frontier, situato presso l’Oak Ridge National Laboratory (ORNL) nel Tennessee, USA, è stato progettato specificamente con le CPU AMD EPYC Trento di terza generazione e gli acceleratori GPU Instinct MI250X. Vantando una straordinaria potenza di calcolo di 1,194 Exaflop/s utilizzando 8,699,904 core, questo supercomputer si è consolidato come il supercomputer più efficiente secondo la lista TOP500.org.
L’implementazione di strategie efficaci per l’addestramento di LLM e il massimo sfruttamento dell’hardware a bordo ha consentito al team di Frontier di ottenere risultati impressionanti. Attraverso un’ampia fase di test di varie dimensioni dei parametri, hanno ottimizzato e perfezionato il processo di addestramento del modello. In particolare, hanno impiegato fino a 3.000 acceleratori AI AMD MI250X, rivelando le eccezionali capacità di questa tecnologia relativamente obsoleta.
Sorprendentemente, l’intero supercomputer Frontier ospita ben 37.000 GPU MI250X. Questo immenso pool di GPU sblocca un enorme potenziale per alimentare LLM, dimostrando l’enorme prestazione che può essere raggiunta utilizzando questa tecnologia all’avanguardia. Inoltre, AMD si appresta a introdurre i suoi acceleratori GPU MI300, dotati dell’ecosistema ROCm 6.0, nei nuovi supercomputer, migliorando ulteriormente le performance dell’intelligenza artificiale.
Sebbene l’attuale hardware impiegato da Frontier potrebbe non essere il più recente del settore, gli avanzamenti nell’Intelligenza Artificiale generativa rendono necessaria l’evoluzione continua della potenza di calcolo nei segmenti dei server e dei data center. Con la crescente domanda di maggiore potenza di calcolo, lo sviluppo di hardware appositamente progettato per questo scopo è cruciale per il progresso delle tecnologie di prossima generazione.
In conclusione, il supercomputer Frontier, supportato dalle CPU EPYC e dalle GPU Instinct di AMD, sta spingendo i limiti dell’addestramento di LLM. Raggiungendo l’obiettivo di addestrare un trilione di parametri, il team di Frontier ha stabilito un nuovo standard dell’industria e ha mostrato l’enorme potenziale del loro hardware. Con la promessa di futuri sviluppi in questo campo, l’importanza di un hardware progettato per l’Intelligenza Artificiale generativa non può essere sottovalutata.
The source of the article is from the blog lisboatv.pt