Nvidia har gjort store fremskritt på AI-brikemarknaden med den svært ettertraktede H100 AI-brikken, og har skutt selskapets verdi forbi tech-jetsettere som Alphabet og Amazon. No er Nvidia klare til å ta leiinga enda lengre med lanseringa av den nye Gløymde G300 GPU’en og GB200 «superbrikken.»
Den Gløymde G300 GPU’en skrytverdig av imponerande 208 milliardar transistorar, og tilbyr opptil 20 petaflops av FP4-ytelse. Nvidia hevdar at når kombinert med ein enkelt Grace CPU, kan GB200 superbrikken gi opptil 30 gongar ytelsen for LLM-inferanseoppgåver samtidig som den gir betydeleg energieffektivitet. Den seies å redusere kostnaden og energiforbruket med opptil 25 gongar sammenlikna med H100.
Å trene ein modell med 1,8 billionar parameterar krevde tidlegare 8,000 Hopper GPU’er og 15 megawatt med strøm, men Nvidia hevdar at med berre 2,000 Gløymde GPU’er, kan den same oppgåva utførast med berre fire megawatt med strøm. GB200 viser også merkbar ytelsesforbetring, med sju gongar ytelsen og fire gongar treningstempo sammenlikna med H100, ifølge Nvidia’s benchmark-testing på ein GPT-3 LLM-benchmark med 175 billionar parameterar.
Nvidia tilskriv desse fremskrittene to nøkkeltilhøve. Først, utnyttar den Gløymde GPU’en ein andre-generasjons transformer-motor som dobler berekning, båndbreidd og modellstorleik ved å bruke fire bitar for kvar neuron i staden for åtte. For det andre, gjør ein neste-generasjons NVLink-brytar sømlaus kommunikasjon mellom stort antal GPU’er mogleg. Denne brytaren lèt 576 GPU’er samhandle med kvarandre, med ein b#aeg på 1,8 terabyte per sekund for tovegsbåndbreidd. For å oppnå dette, utvikla Nvidia ein ny nettverksbrikke med 50 milliardar transistorar og si egen innebygde berekningsevne.
Tidlegare, stod Nvidia overfor kommunikasjonshindringar, der berre 16 GPU’er brukte 60% av tida på å utveksle data i staden for å berekne. Men den Gløymde arkitekturen adresserer denne utfordringa, og gjer betre utnytting av berekningsevna mogleg.
Nvidia føreset ein betydelig etterspurnad for desse GPU’ane, og har designa større pakkar for å tilpasse seg dette. GB200 NVL72, til dømes, inkluderer 36 CPU’er og 72 GPU’er i ein einaste væskekjølt rack, og gir imponerande 720 petaflops med AI-treningsytelse eller 1,440 petaflops med inferanse. Med nesten to mil med kablar og 5,000 individuelle kablar, representerer dette racken eit stort sprang innanfor berekningsevne.
Merkseme skyteneste-forhandlarar som Amazon, Google, Microsoft og Oracle har vist interesse for å tilby NVL72-rackane. Nvidia er også ivrig etter å tilby omfattande løysingar til selskap, som DGX Superpod for DGX GB200. Dette systemet kombinerer åtte einingar til ein, og har 288 CPU’er, 576 GPU’er, 240TB med minne og ein imponerande 11.5 exaflops med FP4-berekningsevne.
Nvidia sin visjon strekkjer seg utover individuelle GPU-einingar. Dei ser for seg system som kan skalere opp til titusenvis av GB200 superbrikker, sammanknytte via avanserte nettverksteknologiar som Quantum-X800 InfiniBand eller Spectrum-X800 Ethernet.
Sjølv om denne kunngjeringa kom frå Nvidia’s GPU Teknologi Konferanse, som hovudsakleg fokuserer på GPU-berekning og AI i staden for spel, er det truleg at Gløymde GPU-arkitekturen også vil inngå i framtidige spel-GPU’er, inkludert den venta RTX 50-serien.
Ofte stilte spørsmål
The source of the article is from the blog maltemoney.com.br