Frontier-superdatorn, känd som världens främsta och enda exaskal-magnet på drift, gör banbrytande framsteg inom området för stora språkmodeller (LLM). Driven av AMD:s EPYC CPU:er och Instinct GPU:er har Frontier-superdatorn nått en ny branschstandard genom att träna en biljon parametrar genom hyperparameter tuning.
Frontier-superdatorn, som är placerad vid Oak Ridge National Laboratory (ORNL) i Tennessee, USA, har specifikt designats med AMD:s 3:e generationens EPYC Trento CPU:er och Instinct MI250X GPU-acceleratorer. Med en imponerande prestanda på 1,194 Exaflop/s och 8,699,904 kärnor har denna superdator cementerat sin position som den mest effektiva superdatorn enligt TOP500.org-listan.
Genom att framgångsrikt implementera effektiva strategier för att träna LLM och maximera potentialen hos den inbyggda hårdvaran har Frontiers team uppnått imponerande resultat. Genom omfattande tester av olika parametrar har de optimerat och finjusterat modellträningsprocessen. Särskilt har de använt upp till 3,000 AMD MI250X AI-acceleratorer, vilket visar på den exceptionella kapaciteten hos denna relativt föråldrade hårdvara.
Överraskande nog rymmer hela Frontier-superdatorn hela 37,000 MI250X GPU:er. Denna enorma GPU-pool låser upp enorm potential för att driva LLM och visar på den enorma prestanda som kan uppnås med denna state-of-the-art-teknologi. Dessutom kommer AMD att introducera MI300 GPU-acceleratorer, utrustade med ROCm 6.0-ekosystemet, i nya superdatorer för att ytterligare förbättra AI-prestanda.
Även om den nuvarande hårdvaran som används av Frontier inte är det senaste inom branschen, kräver framstegen inom generativ AI en kontinuerlig utveckling av beräkningskraften inom server- och datacentersegmentet. Medan efterfrågan på ökad beräkningskraft fortsätter att växa är utvecklingen av hårdvara specifikt designad för detta ändamål avgörande för framstegen inom nästa generations teknologier.
Sammanfattningsvis driver Frontier-superdatorn, som stöds av AMD:s EPYC CPU:er och Instinct GPU:er, gränserna för LLM-utbildning. Genom att nå en milstolpe genom att träna en biljon parametrar har Frontier-teamet satt en ny branschstandard och visat på den enorma potentialen hos deras hårdvara. Med löften om framtida framsteg inom detta område kan betydelsen av hårdvara designad för generativ AI inte underskattas.
The source of the article is from the blog elperiodicodearanjuez.es