NVIDIA je vodilno podjetje na področju generativne AI tehnologije in nedavne izboljšave v MLPerf benchmarkih so ponovno potrdile njihovo prevlado. S svojo arhitekturo Hopper, opremljeno s TensorRT-LLM, je dosegel izjemno povečanje zmogljivosti in presegel rezultate na GPT-J LLM, dosežene pred šestimi meseci.
Te izboljšave v zmogljivosti kažejo na nenehne napore podjetja NVIDIA, da bi utrdilo svojo vodilno vlogo na področju generativne in umetne inteligence. Z uporabo TensorRT-LLM, posebej zasnovanega za poenostavitev nalog osvetljevanja velikih jezikovnih modelov (LLM), je NVIDIA omogočila podjetjem na čelu inovacij, ki optimizirajo svoje modele. To je bilo še dodatno poenostavljeno z NVIDIA NIM, paketom storitev za osvetljevanje, ki vključuje močne motorje, kot je TensorRT-LLM. Vgrajen pristop, ki ga ponuja NVIDIA NIM, poenostavlja implementacijo NVIDIA-jeve platforme za osvetljevanje, kar podjetjem zagotavlja brezčasno učinkovitost in prilagodljivost.
Nedavni MLPerf benchmarks so prav tako pokazali moč najnovejših grafičnih procesorjev H200 Tensor Core, ko so poganjali TensorRT-LLM. Ti grafični procesorji z izboljšano pomnilnikom so premierno nastopili v areni MLPerf in dosegli izjemno zmogljivost, ustvarjajoč do 31.000 žetonov na sekundo na preizkusu Llama 2 70B. To izpostavlja impresivne zmogljivosti generativne AI najnovejše strojne opreme podjetja NVIDIA.
Poleg doseganjem večje zmogljivosti je NVIDIA storila tudi pomembne korake pri upravljanju termalne energije s svojim grafičnim procesorjem H200. Po meri rešitve za upravljanje termalne energije so prispevale k povečanju zmogljivosti za do 14%. To je razvidno iz ustvarjalnih implementacij oblikovanja NVIDIA MGX s strani graditeljev sistemov, ki še dodatno povečuje možnosti uspešnosti grafičnih procesorjev Hopper.
NVIDIA nadaljuje z inovacijami in že pošilja grafične procesorje H200 skoraj 20 znanim graditeljem sistemov in ponudnikom storitev v oblaku. Ti grafični procesorji s impresivno širino pasovnega pomnilnika skoraj 5 TB/sekundo zagotavljajo izjemne zmogljivosti, še posebej pri ocenah MLPerf, ki so intenzivne z vidika pomnilnika, kot so sistemi za priporočila.
Zavezaniost podjetja NVIDIA k premikanju meja AI tehnologije je očitna v sprejetju tehnik, kot je strukturirana redkost. Z uporabo strukturirane redkosti, pristopa za zmanjševanje računalniških operacij, so inženirji podjetja NVIDIA dosegli povečanje hitrosti do 33% pri osvetlevanju s preizkusom Llama 2. To razkriva zavezanost podjetja k zagotavljanju učinkovitih in visoko zmogljivih rešitev na področju umetne inteligence.
Z pogledom v prihodnost je ustanovitelj in izvršni direktor podjetja NVIDIA, Jensen Huang, razkril med nedavno konferenco GTC, da bodo prihajajoči grafični procesorji nove arhitekture NVIDIA Blackwell zagotovili še višje zmogljivostne ravni. Ti grafični procesorji bodo posebej zasnovani za izpolnjevanje naraščajočih zahtev velikih jezikovnih modelov ter omogočili usposabljanje in osvetlitev večtrilijonskih parametrskih modelov AI.
**Pogosta vprašanja:**
**Q: Kaj je TensorRT-LLM?**
A: TensorRT-LLM je specializirano orodje, razvito s strani podjetja NVIDIA za poenostavljanje nalog osvetljevanja velikih jezikovnih modelov (LLMs). Povečuje zmogljivost in učinkovitost v aplikacijah generativne umetne inteligence.
**Q: Kaj so MLPerf benchmarks?**
A: MLPerf benchmarks je nabor standardnih meril, ki se uporabljajo za ocenjevanje zmogljivosti sistemov za strojno učenje in modele v različnih domenah in nalogah.
**Q: Kaj je strukturirana redkost?**
A: Strukturirana redkost je tehnika, ki se uporablja za zmanjšanje računalniških operacij v AI modelih z identifikacijo in uporabo vzorcev redkosti podatkov. Pomaga izboljšati učinkovitost in hitrost osvetljevalnih nalog.
**Q: Kakšen je pomen grafičnih procesorjev H200?**
A: Grafični procesorji H200 podjetja NVIDIA ponujajo impresivno širino pasovnega pomnilnika in zmogljivost, kar jih ustreza za naloge z veliko uporabo pomnilnika v generativni umetni inteligenci in strojnem učenju.
**Viri:**
– [NVIDIA Uradna Spletna Stran](https://www.nvidia.com)
The source of the article is from the blog portaldoriograndense.com