Nvidia jelentős lépéseket tett az AI chip piacán azzal, hogy rendkívül keresett H100 AI chipjével átlépte a cég értékét olyan tech óriásoknál, mint az Alphabet és az Amazon. Most pedig tovább bővíti előnyét az új Blackwell B200 GPU és a GB200 „szuperchip” bemutatásával.
A Blackwell B200 GPU lenyűgözően 208 milliárd tranzisztort kínál, akár 20 petaflopsos FP4 teljesítményt. A Nvidia szerint amikor csak egy Grace CPU-val kombinálva alkalmazzák, a GB200 szuperchip akár 30-szoros teljesítményt nyújthat az LLM inferencia munkaterhelések esetén, miközben jelentős energiahatékonyságot biztosít. Állítják, hogy a költséget és az energiatermelést akár 25-ször is csökkentheti az H100-hoz képest.
Egy 1,8 billiárd paraméteres modell korábbi tréningje 8 000 Hopper GPU-t és 15 megawatt áramot igényelt, de a Nvidia állítása szerint mindössze 2000 Blackwell GPU-val is elvégezhető ugyanez a feladat mindössze négy megawatt áramot használva. A GB200 jelentős teljesítménynövekedést is mutat, hét-szeres teljesítményt és négyszeres tréningsebességet mutatva az H100-hoz képest, a Nvidia benchmark-tesztjei szerint egy 175 milliárd paraméteres GPT-3 LLM teszten.
A Nvidia ezeket a fejlesztéseket két kulcsfontosságú tényezőnek tulajdonítja. Először is, a Blackwell GPU-k egy második generációs transzformátor motorra támaszkodnak, amely a számítást, a sávszélességet és a modellméretet megduplázza, és minden idegsejt esetében négy helyett nyolc bitet használ. Másodsorban az új generációs NVLink kapcsoló zökkenőmentes kommunikációt tesz lehetővé a nagy számú GPU között. Ez a kapcsoló lehetővé teszi, hogy 576 GPU kommunikáljon egymással, 1,8 terabájt másodpercenkénti kétirányú sávszélességgel. Ehhez a teljesítményhez a Nvidia új hálózati kapcsoló chipet fejlesztett ki 50 milliárd tranzisztorral és saját beépített számítási képességekkel.
Korábban a Nvidia kommunikációs akadályokkal szembesült, ahol csak 16 GPU töltött 60% -át az adatok cseréjére és nem a számítási folyamatokra. Azonban a Blackwell architektúra kezeli ezt a kihívást, lehetővé téve a számítási teljesítmény jobb kihasználását.
A Nvidia jelentős keresletre számít ezekre a GPU-kra, és nagyobb csomagokat tervezett azok elhelyezésére. A GB200 NVL72 például egyetlen folyékony hűtött állványba 36 CPU-t és 72 GPU-t integrál, lenyűgöző 720 petaflops AI tréningteljesítményt vagy 1,440 petaflops inferencia kapacitást nyújtva. Az Amazon, a Google, a Microsoft és az Oracle jelentős felhőszolgáltatók már érdeklődésüket fejezték ki ezeknek az állványoknak az átadására.
A Nvidia széleskörű megoldásokat kínál cégeknek a DGX Superpod for DGX GB200-val. Ez a rendszer nyolc egységet egyesít egybe, 288 CPU-val, 576 GPU-val, 240TB memóriával és lenyűgöző 11,5 exaflopsos FP4 számítási teljesítménnyel.
Gyakran Ismételt Kérdések
The source of the article is from the blog mgz.com.tw