NVIDIA, az AI technológiák terén szintén vezető pozíciót betöltő vállalat, bemutatott jelentős teljesítményjavulásokat a MLPerf mérési pontokban. A cég Hopper architektúrájú GPU-i, melyeket TensorRT-LLM hajt meg, kiemelkedően teljesítettek, 3x-es teljesítménynövekedést mutattak be a GPT-J LLM esetében, összehasonlítva az eredményeket mindössze hat hónappal ezelőtt.
Ezek a teljesítményjavulások rávilágítanak arra, hogy az NVIDIA állandó erőfeszítéseket tesz az AI területén való dominanciájának megerősítésére. A TensorRT-LLM kihasználásával, ami kifejezetten nagy nyelvi modellek (LLM) becslési feladatainak optimalizálására lett kifejlesztve, az NVIDIA lehetővé teszi az innováció élén álló vállalatok számára, hogy optimalizálják modelleiket. Ezt tovább támogatja az NVIDIA NIM, egy olyan beágyazott megoldásokat tartalmazó becslési mikroszolgáltatások sorozat, mely magába foglal olyan erőteljes motorokat, mint a TensorRT-LLM. Az NVIDIA NIM által kínált integrált megközelítés egyszerűsíti az NVIDIA becslési platform telepítését, biztosítva a vállalkozások számára páratlan hatékonyságot és rugalmasságot.
Az utóbbi MLPerf mérések szintén bemutatták az NVIDIA legújabb H200 Tensor Core GPU-jainak képességeit, amikor a TensorRT-LLM-et futtatták. Ezek a memóriafeljavított GPU-k, melyek most mutatkoztak be az MLPerf arénában, kivételes áteresztőképességet értek el, akár a Llama 2 70B mérési ponton 31,000 token/t másodpercenként. Ez rávilágít az NVIDIA legújabb hardverének kivételes generatív AI képességeire.
A teljesítményjóváhagyásokon kívül az NVIDIA szignifikáns előrelépéseket tett a hőmérsékletkezelés terén a H200 GPU-i esetében. Az egyedi hőkezelési megoldások 14%-os teljesítménynövekedéshez járultak hozzá. Ezt az NVIDIA MGX dizájnok kreatív implementációi példázzák meg a rendszerépítők által, tovább fokozva a Hopper GPU-k teljesítményképességét.
Mivel az NVIDIA továbbra is innovál, már elkezdte szállítani a H200 GPU-kat közel húsz prominens rendszerépítőnek és felhőszolgáltató. Ezek a GPU-k, közel 5 TB/másodpercesről szóló lenyűgöző memóriafoglalatukkal, kivételes teljesítményt kínálnak, különösen a memóriaintenzív MLPerf értékelések terén, mint például az ajánlórendszerek.
Az NVIDIA elkötelezettsége az AI technológia határait feszegetni nyilvánvaló a strukturált sűrüségek alkalmazásával. A strukturált sűrüségek használatával, ami egy olyan megközelítés, mely az AI modell számításait csökkenti, az NVIDIA mérnökei 33%-os sebességnövekedést értek el az Llama 2-es esetében futó becslés során. Ez a vállalat elkötelezettségét mutatja az hatékony és nagy teljesítményű AI megoldások fejlesztésére.
A jövő felé tekintve az NVIDIA alapítója és vezérigazgatója, Jensen Huang, elárulta a közelmúltban tartott GTC konferencián, hogy az újonnan megjelenő NVIDIA Blackwell architektúrájú GPU-k még magasabb teljesítményszinteket fognak nyújtani. Ezek a GPU-k speciálisan arra lesznek tervezve, hogy kielégítsék a nagy nyelvi modellek növekvő igényeit, lehetővé téve a több billió paraméteres AI modellek képzését és becslését.
Gyakran Ismételt Kérdések (FAQ):
Q: Mi az a TensorRT-LLM?
A: A TensorRT-LLM egy olyan specializált eszköz, amit az NVIDIA fejlesztett ki nagy nyelvi modellek (LLM) becslési feladatainak optimalizálására. Javítja a teljesítményt és hatékonyságot a generatív AI alkalmazásokban.
Q: Mi az MLPerf mérések?
A: Az MLPerf mérések egy olyan iparági standard mérési rendszer, melyet a gépi tanulás rendszerek és modellek teljesítményének értékelésére használnak különböző területeken és feladatokban.
Q: Mi az a strukturált sűrűség?
A: A strukturált sűrűség egy olyan technika, amit az AI modellekben a számítások csökkentése érdekében használnak, az adatok ritkáságának mintáinak azonosításával és kihasználásával. Segít az inferencia feladatok hatékonyságának és sebességének javításában.
Q: Mi a H200 GPU-k jelentősége?
A: Az NVIDIA H200 GPU-i lenyűgöző memóriafoglalatot és teljesítményt kínálnak, amelyek jól alkalmazkodnak a generatív AI és gépi tanulás memóriaintenzív feladataihoz.
Források:
– NVIDIA Hivatalos Honlapja: [nvidia.com](https://www.nvidia.com)
[Beágyazott videó az NVIDIA által](https://www.youtube.com/embed/_SloSMr-gFI)
The source of the article is from the blog girabetim.com.br