Nvidia je napravila značajan korak na tržištu AI čipova s svojim highly sought-after H100 AI čipom, gurajući vrijednost tvrtke iznad tehnoloških divova poput Alphabet-a i Amazon-a. Sada Nvidia namjerava proširiti svoje vodstvo još više s predstavljanjem novog Blackwell B200 GPU-a i GB200 “superčipa”.
Blackwell B200 GPU se ponosi impresivnih 208 milijardi tranzistora, nudeći do 20 petaflopsa FP4 performansi. Nvidia tvrdi da kada se kombinira s jednim Grace CPU-om, GB200 superčip može pružiti do 30 puta bolje performanse za LLM inference opterećenja dok istovremeno pruža značajnu energetsku učinkovitost. Navodno smanjuje troškove i potrošnju energije do 25 puta u usporedbi s H100.
Obuka modela s 1,8 bilijuna parametara ranije je zahtijevala 8.000 Hopper GPU-a i 15 megavata energije, ali Nvidia tvrdi da se sa samo 2.000 Blackwell GPU-a isti zadatak može obaviti s samo četiri megavata energije. GB200 također pokazuje značajno poboljšanje performansi, sa sedam puta boljim performansama i četiri puta bržom brzinom obuke u usporedbi s H100, prema Nvidia-ovim benchmark testovima na GPT-3 LLM benchmarku s 175 milijardi parametara.
Nvidijini atributi ovim napretcima leže u dvije ključne činjenice. Prvo, Blackwell GPU-i koriste engine druge generacije transformer koji dvostruko povećava računanje, propusnost i veličinu modela koristeći četiri bita za svaki neuron umjesto osam. Drugo, next-gen NVLink switch omogućava besprijekornu komunikaciju između velikog broja GPU-a. Ovaj switch omogućava da 576 GPU-a komunicira jedan s drugim, hvaleći se s 1,8 terabajta po sekundi bidirekcionalne propusnosti. Da bi to postigli, Nvidia je razvila novi čip za mrežni switch s 50 milijardi tranzistora i vlastitim onboard računalnim sposobnostima.
Ranije je Nvidia nailazila na komunikacijske zastoje, pri čemu bi samo 16 GPU-ova tijekom 60% svog vremena razmjene podataka umjesto računanja. Međutim, Blackwell arhitektura se bavi ovim izazovom, omogućavajući bolju iskoristivost računalne snage.
Nvidia predviđa značajnu potražnju za ovim GPU-ovima te je dizajnirala veće pakete kako bi to i ostvarila. GB200 NVL72, primjerice, uključuje 36 CPU-a i 72 GPU-a u jedan tekuće hlađeni rack, pružajući impresivnih 720 petaflopsa performansi obuke AI-a ili 1.440 petaflopsa inference-a. S gotovo dvije milje kabela i 5.000 pojedinačnih kabela, ovaj rack predstavlja veliki skok u računalnoj snazi.
Značajni pružatelji usluga u oblaku poput Amazona, Googlea, Microsofta i Oraclea izrazili su interes za pružanje NVL72 rackova. Nvidia također želi pružati sveobuhvatna rješenja tvrtkama, poput DGX Superpoda za DGX GB200. Ovaj sustav kombinira osam jedinica u jednu, s 288 CPU-a, 576 GPU-a, 240TB memorije i impresivnih 11,5 exaflopsa računalne snage FP4.
Nvidia-ina vizija se proteže dalje od pojedinačnih jedinica GPU-a. Oni predviđaju sustave koji se mogu proširiti do desetaka tisuća GB200 superčipova, povezanih pomoću naprednih mrežnih tehnologija poput Quantum-X800 InfiniBanda ili Spectrum-X800 Etherneta.
Iako je ova najava došla s Nvidia-ine GPU Technology konferencije koja se uglavnom fokusira na GPU računanje i AI umjesto na igre, vjerojatno je da će Blackwell GPU arhitektura također pogoniti buduće gaming GPU-ove, uključujući očekivanu RTX 50-seriju.
FAQ
Što je Blackwell B200 GPU?
Blackwell B200 GPU je najnovija grafička procesna jedinica tvrtke Nvidia dizajnirana za pružanje iznimnih performansi u području umjetne inteligencije.
Koja je prednost GB200 superčipa?
GB200 superčip kombinira dva Blackwell B200 GPU-a s jednim Grace CPU-om, nudeći značajna poboljšanja performansi i energetske učinkovitosti za LLM inference opterećenja.
Kako Blackwell arhitektura poboljšava komunikaciju između GPU-a?
Engine druge generacije transformer Blackwell GPU-ova dvostruko povećava računanje, propusnost i veličinu modela koristeći četiri bita za svaki neuron. Nadalje, next-gen NVLink switch omogućava besprijekornu komunikaciju između velikog broja GPU-a, značajno poboljšavajući ukupne performanse.
Koje su potencijalne primjene Blackwell B200 GPU-a?
Blackwell B200 GPU ima različite primjene u treningu i inference umjetne inteligencije, omogućujući organizacijama da obavljaju zadatke poput obrade jezika, prepoznavanja slika i analize podataka učinkovitije.
Koje tvrtke su pokazale interes za NVL72 rackove?
Veliki pružatelji usluga u oblaku, poput Amazona, Googlea, Microsofta i Oraclea, već su izrazili interes za uključivanje NVL72 rackova u svoje ponude.
The source of the article is from the blog scimag.news