NVIDIA a reușit să-și extindă dominantul în Inteligența Artificială Generativă prin intermediul unor perfecționări de performanță semnificative în benchmark-urile sale MLPerf. Arhitectura GPU Hopper a companiei, echipată cu TensorRT-LLM, a obținut o creștere remarcabilă de 3x în performanță pe GPT-J LLM, comparativ cu rezultatele de acum doar șase luni.
Aceste îmbunătățiri de performanță subliniază eforturile constante ale NVIDIA de a-și consolida dominația în domeniul Inteligenței Artificiale Generative. Prin folosirea TensorRT-LLM, care este special conceput pentru a optimiza sarcinile de inferență pentru modelele de limbaj mari (LLM), NVIDIA a permis companiilor aflate în fruntea inovației să-și optimizeze modelele. Acest lucru a fost facilitat și mai mult de NVIDIA NIM, o suită de microservicii de inferență care include motoare puternice precum TensorRT-LLM. Abordarea integrată oferită de NVIDIA NIM simplifică implementarea platformei de inferență a NVIDIA, oferind afacerilor eficiență și flexibilitate de neegalat.
Benchmark-urile MLPerf recente au evidențiat, de asemenea, puterea celor mai recente GPU-uri H200 Tensor Core de la NVIDIA, atunci când rulează cu TensorRT-LLM. Aceste GPU-uri cu memorie îmbunătățită, facându-și debutul în arena MLPerf, au atins o capacitate excepțională, generând până la 31.000 de tokenuri pe secundă în benchmark-ul Llama 2 70B. Acest lucru subliniază capacitățile impresionante de Inteligență Artificială Generativă ale cele mai recente hardware-uri de la NVIDIA.
Pe lângă creșterile de performanță, NVIDIA a făcut, de asemenea, pași semnificativi în domeniul gestionării termice cu GPU-urile sale H200. Soluțiile personalizate în gestionarea termică au contribuit la creșteri de performanță de până la 14%. Acest lucru este exemplificat de implementările creative ale designurilor NVIDIA MGX de către constructorii de sisteme, îmbunătățind în continuare capacitățile de performanță ale GPU-urilor Hopper.
Pe măsură ce NVIDIA continuă să inoveze, a început deja expedierea GPU-urilor H200 către aproximativ 20 de constructori de sisteme și furnizori de servicii cloud renumiți. Aceste GPU-uri, cu o lățime de bandă impresionantă a memoriei de aproape 5 TB/secundă, oferă performanțe excepționale, în special în evaluările MLPerf intensive din punct de vedere al memoriei, cum ar fi sistemele de recomandare.
Angajamentul NVIDIA de a depăși limitele tehnologiei AI este evident în adoptarea de tehnici precum raritatea structurată. Prin utilizarea rarității structurate, o abordare menită să reducă calculele, inginerii NVIDIA au obținut îmbunătățiri de viteză de până la 33% în inferență cu Llama 2. Acest lucru arată devotamentul companiei de a oferi soluții AI eficiente și de înaltă performanță.
Privind spre viitor, fondatorul și CEO-ul NVIDIA, Jensen Huang, a dezvăluit în cadrul conferinței GTC recente că viitoarele GPU-uri ale arhitecturii NVIDIA Blackwell vor livra nivele de performanță chiar mai mari. Aceste GPU-uri vor fi special concepute pentru a răspunde cererilor tot mai mari ale modelelor de limbaj mari, permitând antrenarea și inferența modelelor AI cu mai multe trilioane de parametri.
Întrebări frecvente (FAQ):
The source of the article is from the blog foodnext.nl