Frontier superpočítač, známy ako najvýkonnejší a jediný exaskeletový stroj v prevádzke na svete, dosahuje revolučné pokroky v oblasti veľkých jazykových modelov (LLM). S využitím čipov AMD EPYC a grafických procesorov Instinct dosiahol Frontier superpočítač novú odvetviu benchmarku tréningu jedného bilióna parametrov pomocou nastavovania hyperparametrov.
Frontier superpočítač, umiestnený v Oak Ridge National Laboratory (ORNL) v Tennessee, USA, bol špeciálne navrhnutý s použitím čipov AMD EPYC Trento 3. generácie a akcelerátorov GPU Instinct MI250X. S neuveriteľným výkonom 1,194 Exaflop/s pomocou 8 699 904 jadier, tento superpočítač si vďaka zoznamu TOP500.org upevnil svoju pozíciu ako najefektívnejší superpočítač.
Úspešná implementácia efektívnych stratégií na trénovanie LLM a maximalizáciu potenciálu disponibilného hardvéru umožnila Frontier tímu dosiahnuť impozantné výsledky. prostredníctvom rozsiahlych testov rôznych parametrov sa podarilo optimalizovať a doladiť proces trénovania modelov. Výnimočné schopnosti relativne zastaraného hardvéru ukázali až 3 000 akcelerátorov AI AMD MI250X.
Prekvapivo celý Frontier superpočítač obsahuje neuveriteľných 37 000 GPU MI250X. Táto veľká zásoba grafických procesorov odomyká obrovský potenciál pre napájanie LLM a ukazuje obrovský výkon, ktorý možno dosiahnuť pomocou tejto najmodernejšej technológie. Navyše, AMD plánuje predstaviť akcelerátory GPU MI300, vybavené ekosystémom ROCm 6.0, do nových superpočítačov, čím ešte viac zvýši výkon AI.
Hoci súčasný hardware použitý na Frontier nie je najnovším na trhu, postupy v generatívnej AI vyžadujú neustálu evolúciu výpočtového výkonu v segmentoch serverov a dátových centier. Ako dopyt po väčšom výpočtovom výkone neustále rastie, dôležitosť hardvéru špeciálne navrhnutého pre generatívnu AI nemôže byť podceňovaná pre pokrok technológií nasledujúcej generácie.
Na záver, Frontier superpočítač, podporovaný čipmi AMD EPYC a grafickými procesormi Instinct, posúva hranice tréningu LLM. Dosiahnutím míľnika tréningu jedného bilióna parametrov, Frontier tím stanovil nový odvetvný benchmark a ukázal obrovský potenciál svojho hardvéru. Sľub budúceho pokroku v tejto oblasti zdôrazňuje dôležitosť hardvéru určeného pre generatívnu AI.
The source of the article is from the blog maltemoney.com.br