NVIDIA, czołowy producent technologii sztucznej inteligencji, ogłosił znaczące ulepszenia wydajności w swoich testach MLPerf. Karty graficzne z architekturą Hopper wyposażone w TensorRT-LLM zaprezentowały imponujący wzrost wydajności o 3-krotność w LLM GPT-J w porównaniu do wyników sprzed zaledwie sześciu miesięcy.
Te ulepszenia wydajności podkreślają ciągłe wysiłki NVIDII mające na celu umocnienie swojej dominacji w dziedzinie generatywnej sztucznej inteligencji. Wykorzystując TensorRT-LLM, specjalnie zaprojektowany do usprawniania zadań wnioskowania dla dużych modeli językowych (LLM), NVIDIA umożliwiła firmom będącym na czele innowacji optymalizację ich modeli. Proces ten został dodatkowo ułatwiony dzięki NVIDIA NIM, zestawowi mikrousług do wnioskowania obejmujących potężne silniki takie jak TensorRT-LLM. Zintegrowane podejście oferowane przez NVIDIA NIM upraszcza wdrażanie platformy wnioskowania NVIDIA, zapewniając firmom niezrównaną efektywność i elastyczność.
Ostatnie testy MLPerf również zaprezentowały umiejętności najnowszych kart graficznych NVIDIA z serii H200 Tensor Core działających z TensorRT-LLM. Te karty z pamięcią o zwiększonej pojemności, debiutując na arenie MLPerf, osiągnęły wyjątkową przepustowość, generując nawet do 31 000 tokenów na sekundę w teście Llama 2 70B. To podkreśla imponujące możliwości generatywnej sztucznej inteligencji najnowszego sprzętu NVIDII.
Oprócz wzrostu wydajności, NVIDIA dokonała także znaczących postępów w zarządzaniu ciepłem przy użyciu swoich kart graficznych H200. Niestandardowe rozwiązania w zarządzaniu ciepłem przyczyniły się do wzrostu wydajności nawet o 14%. Przykładem są kreatywne implementacje projektów NVIDIA MGX przez budowniczych systemów, które dodatkowo zwiększyły zdolności wydajnościowe kart graficznych serii Hopper.
NVIDIA kontynuuje innowacje i już rozpoczęła dostawy kart graficznych H200 do niemal 20 wiodących budowniczych systemów i dostawców usług chmurowych. Te karty graficzne, z imponującym pasmem pamięci wynoszącym prawie 5 TB/sekundę, oferują wyjątkową wydajność, zwłaszcza w testach MLPerf wymagających intensywnego użycia pamięci, jak systemy rekomendacyjne.
Zobowiązanie NVIDII do przesuwania granic technologii AI jest widoczne w przyjęciu technik takich jak strukturalna rzadkość. Wykorzystując strukturalną rzadkość, podejście mające na celu redukcję obliczeń, inżynierowie NVIDII uzyskali wzrost prędkości nawet o 33% podczas wnioskowania z modelem Llama 2. To pokazuje zaangażowanie firmy w dostarczanie efektywnych i wydajnych rozwiązań z zakresu sztucznej inteligencji.
Patrząc w przyszłość, założyciel i dyrektor generalny NVIDII, Jensen Huang, ujawnił podczas niedawnego GTC, że nadchodzące karty graficzne z architekturą NVIDIA Blackwell dostarczą jeszcze wyższe poziomy wydajności. Te karty graficzne będą specjalnie zaprojektowane, aby sprostać rosnącym wymaganiom dużych modeli językowych, umożliwiając trenowanie oraz wnioskowanie wielo-trilionowych modeli AI.
Dla więcej informacji na temat postępów NVIDII w dziedzinie generatywnej sztucznej inteligencji i testów MLPerf, odwiedź [Oficjalną Stronę NVIDIA](https://www.nvidia.com).
FAQ:
The source of the article is from the blog aovotice.cz