NVIDIA, vodeća kompanija u tehnologijama generativne umjetne inteligencije, objavila je značajna povećanja performansi u svojim MLPerf benchmarkovima. Grafičke kartice arhitekture Hopper tvrtke NVIDIA, pokretane TensorRT-LLM-om, pokazale su značajno povećanje performansi od čak 3 puta na GPT-J LLM-u u usporedbi s rezultatima od prije samo šest mjeseci.
Ova poboljšanja performansi ističu stalne napore tvrtke NVIDIA da učvrsti svoju dominaciju u području generativne umjetne inteligencije. Iskorištavanjem TensorRT-LLM-a, koji je posebno dizajniran za optimizaciju inferentnih zadataka velikih jezičnih modela (LLM), NVIDIA je omogućila tvrtkama na čelu inovacija da optimiziraju svoje modele. To je dodatno olakšano NVIDIA NIM-om, skupom inferentnih mikro-servisa koji uključuju moćne motore poput TensorRT-LLM-a. Integrirani pristup koje nudi NVIDIA NIM pojednostavljuje implementaciju NVIDIA-inog inferentnog platforme, pružajući poduzetnicima neusporedivu efikasnost i fleksibilnost.
Nedavni MLPerf benchmarkovi također su pokazali moćnosti najnovijih grafičkih kartica NVIDIA H200 Tensor Core kada se koristi TensorRT-LLM. Ove grafičke kartice s poboljšanom memorijom, koje svoj debi imaju na polju MLPerf-a, postigle su izvanrednu propusnost, generirajući do 31.000 tokena u sekundi na Llama 2 70B benchmarku. Ovo ističe impresivne mogućnosti generativne umjetne inteligencije najnovije hardverske opreme tvrtke NVIDIA.
Osim povećanja performansi, NVIDIA je također napravila značajne korake u termalnom upravljanju s njezinim H200 grafičkim karticama. Prilagođena rješenja u termalnom upravljanju doprinijela su povećanju performansi od čak 14%. To se očituje kreativnim implementacijama NVIDIA-inog MGX dizajna od strane graditelja sustava, dodatno poboljšavajući performanse Hopper grafičkih kartica.
Kako NVIDIA nastavlja s inovacijama, već je počela otpremu H200 grafičkih kartica gotovo 20 istaknutih graditelja sustava i pružatelja usluga u oblaku. Ove grafičke kartice, s impresivnom širinom memorije od gotovo 5 TB/sekundi, nude izuzetne performanse, posebice u memorijom intenzivnim MLPerf procjenama kao što su sustavi preporuka.
Predanost tvrtke NVIDIA u pomjeranju granica tehnologije umjetne inteligencije vidljiva je u njezinoj primjeni tehnika poput strukturne rijetkosti. Korištenjem strukturne rijetkosti, pristupa usmjerenog na smanjenje računalnih operacija, inženjeri tvrtke NVIDIA postigli su poboljšanja brzine od čak 33% na inferenciji s Llama 2. To pokazuje posvećenost tvrtke u isporuci efikasnih i visokoperformansnih rješenja u području umjetne inteligencije.
Gledajući u budućnost, osnivač i izvršni direktor tvrtke NVIDIA, Jensen Huang, otkrio je tijekom nedavne GTC konferencije da će nadolazeće grafičke kartice arhitekture NVIDIA Blackwell isporučivati još veće razine performansi. Ove grafičke kartice bit će posebno dizajnirane kako bi zadovoljile rastuće zahtjeve velikih jezičnih modela, omogućavajući obuku i inferenciju višetrilionskih AI modela.
FAQ:
The source of the article is from the blog elblog.pl