Nvidia nedávno dosáhla značného pokroku na trhu s čipy pro umělou inteligenci s jejím vysoce žádaným čipem H100 AI, který posunul hodnotu společnosti nad technologické giganty jako Alphabet a Amazon. Nyní se Nvidia chystá posunout svůj náskok ještě dál s představením nového GPU Blackwell B200 a „superčipu“ GB200.
GPU Blackwell B200 se pyšní impozantními 208 miliardami tranzistorů, nabízí až 20 petaflopů výkonu FP4. Nvidia tvrdí, že když se kombinuje s jedním CPU Grace, může superčip GB200 poskytovat až 30krát větší výkon pro pracovní zátěže LLM inference a zároveň poskytnout podstatnou energetickou účinnost. Údajně může snížit náklady a spotřebu energie až 25krát ve srovnání s H100.
Trénování modelu s 1,8 biliony parametrů bylo dříve vyžadovalo 8 000 GPU Hopperů a 15 megawattů energie, ale Nvidia tvrdí, že s pouhými 2 000 GPU Blackwell lze stejný úkol provést s pouhými čtyřmi megawatty energie. GB200 také prokazuje pozoruhodné zlepšení výkonu, s sedminásobným výkonem a čtyřnásobnou rychlostí trénování ve srovnání s H100, podle benchmarkového testování Nvidie na benchmarku GPT-3 LLM s 175 miliardami parametrů.
Nvidia přičítá tyto pokroky dvěma klíčovým faktorům. Zaprvé, GPU Blackwell využívají engine druhé generace transformátoru, který zdvojnásobuje výpočet, propustnost a velikost modelu použitím čtyř bitů pro každý neuron místo osmi. Za druhé, nový NVLink switch následující generace umožňuje bezproblémovou komunikaci mezi velkým počtem GPU. Tento switch umožňuje, aby mohlo 576 GPU vzájemně interagovat a chlubit se 1,8 terabyty za sekundu obousměrné propustnosti. K tomu, aby toho bylo dosaženo, Nvidia vyvinula nový switch síťového čipu s 50 miliardami tranzistorů a vlastními výpočetními možnostmi.
Dříve se Nvidia potýkala s komunikačními zúženými místy, kdy pouhých 16 GPU trávilo 60 % svého času výměnou dat místo výpočtu. Avšak architektura Blackwellových adres tuto výzvu řeší a umožňuje lepší využití výpočetní síly.
Nvidia očekává významnou poptávku po těchto GPU a navrhla větší balíčky, aby tento zájem uspokojila. Například NVL72 GB200 kombinuje 36 CPU a 72 GPU do jediné kapalně chlazené skříně, poskytující impozantní 720 petaflopů výkonu umělé inteligence nebo 1440 petaflopů inferencí. S téměř dvěma míle kabelů a 5 000 individuálními kabely představuje tato skříň zásadní posun výpočetní síly.
Významní poskytovatelé cloudových služeb, jako jsou Amazon, Google, Microsoft a Oracle, vyjádřili zájem o nabídku skříní NVL72. Nvidia se rovněž snaží poskytnout komplexní řešení pro společnosti, jako je Superpod DGX pro DGX GB200. Tento systém spojuje osm jednotek do jedné, přičemž nabízí 288 CPU, 576 GPU, 240 TB paměti a ohromujících 11,5 exaflopů výpočetní síly FP4.
Vize Nvidie nekončí u jednotlivých jednotek GPU. Vidí systémy, které mohou škálovat až na desítky tisíc superčipů GB200, propojených prostřednictvím pokročilých síťových technologií jako je Quantum-X800 InfiniBand nebo Spectrum-X800 Ethernet.
Tato oznámení přišla z Nvidia GPU Technology Conference, která se zaměřuje převážně na GPU výpočty a umělou inteligenci spíše než na hraní, ale pravděpodobně Blackwell GPU architektura napájí i budoucí herní GPU, včetně očekávané řady RTX 50.
The source of the article is from the blog kewauneecomet.com