Summary: Frontier-supercomputeren, der er kendt som verdens førende og mest kraftfulde supercomputer, har nået en banebrydende milepæl inden for AI-træning. Med AMD EPYC-processorer og Instinct AI-akseleratorer har Frontier-supercomputeren succesfuldt trænet en Large Language Model (LLM) med 1 billion parametre, der matcher ChatGPT-4’s evner. Med sin topmoderne teknologi og imponerende ydeevne revolutionerer Frontier-supercomputeren området for kunstig intelligens.
AMD’s bidrag til Frontier-supercomputeren kan ikke undervurderes. Udstyret med AMD 3rd Gen EPYC “Trento” CPU’er og Instinct MI250X AI GPU-akseleratorer fungerer denne beregningskraftværk på Oak Ridge National Laboratory (ORNL) i Tennessee, USA, under Department of Energy (DOE)’s tilsyn. Med imponerende 8.699.904 kerner opnår Frontier-supercomputeren en forbløffende HPC-ydeevne på 1,194 Exaflop/s, hvilket gør den til verdens hurtigste supercomputer og den næstmest effektive.
Opnåelsen af at træne en LLM med 1 billion parametre med Frontier-supercomputeren er resultatet af omhyggelig “hyperparameter tuning” og optimeringsteknikker. Ved at finjustere modelleringstræningsprocessen var Frontier-teamet i stand til at opnå nye industrielle benchmarkresultater og overgå tidligere rekorder. Dette bemærkelsesværdige bedrift blev opnået ved omfattende test af forskellige parameter-skalaer, herunder 22 milliarder, 175 milliarder og den banebrydende 1 billion parametre.
Mens Frontier-supercomputeren i øjeblikket har 3000 AMD Instinct MI250X AI GPU-akseleratorer, ligger det sande potentiale i dens samlede kapacitet på 37.000 akseleratorer. Når denne enorme beregningskraft udnyttes fuldt ud, åbner det op for hidtil usete muligheder for at træne LLM’er. Arxiv indsendelsesrapporten fremhævede Frontier-supercomputerens imponerende effektivitet med GPU gennemløb på henholdsvis 38,38%, 36,14% og 31,96% opnået for modellerne med 22 milliarder, 175 milliarder og 1 billion parametre. Derudover demonstrerede holdet en stærk skaleringseffektivitet på 89% og 87% for modellerne med henholdsvis 175 milliarder og 1 billion parametre.
Frontier-supercomputeren repræsenterer toppen af AI-akseleration, drevet af AMD’s kraftfulde hardware og optimerede strategier. Mens den fortsætter med at gøre banebrydende fremskridt inden for AI-træning, bekræfter Frontier-supercomputeren sin position i spidsen for videnskabelig og teknologisk innovation.
The source of the article is from the blog regiozottegem.be