NVIDIA nedávno představila svá nejnovější GPU a výrazně zdokonalila své výsledky v MLPerf benchmark testech, což potvrzuje její dominanci v oblasti generativní AI. Díky architektuře Hopper a technologii TensorRT-LLM dosáhla NVIDIA pozoruhodného 3násobného zvýšení výkonu na GPT-J LLM ve srovnání s výsledky z předchozích šesti měsíců. Tyto úpravy ilustrují snahu NVIDIE o optimalizaci modelů a upevnění své pozice v průmyslu.
TensorRT-LLM od NVIDIE je specializovaný nástroj navržený pro zjednodušení úloh inferencí pro velké jazykové modely (LLM). Usnadňuje nasazení inferenční platformy NVIDIE a poskytuje firmám nejlepší efektivitu a flexibilitu. Využitím TensorRT-LLM mohou společnosti optimalizovat své modely a dosáhnout impozantního zlepšení výkonu.
MLPerf benchmark testy také ukázaly schopnosti nejnovějších H200 Tensor Core GPU od NVIDIE při běhu TensorRT-LLM. Tyto GPU dosáhla vynikající propustnosti, generují až 31 000 tokenů za sekundu na Llama 2 70B benchmarku. Paměťově zdokonalená H200 GPU ilustruje snahu NVIDIE o poskytování vysoko výkonného hardwaru pro aplikace generativní AI.
Kromě zlepšení výkonu NVIDIE také udělala kroky v oblasti termálního řízení s H200 GPU. Až o 14% zlepšení výkonu bylo dosaženo díky vlastním řešením v termálním řízení. Stavitelé systémů využívající NVIDIiny designy MGX dále zlepšili výkonové schopnosti GPU řady Hopper.
NVIDIA již začala dodávat H200 GPU téměř 20 významným stavitelům systémů a poskytovatelům cloudových služeb. S paměťovým průtokem téměř 5 TB za sekundu nabízejí tato GPU vynikající výkon, zejména při paměťově náročných hodnoceních v MLPerf jako jsou systémy doporučování.
Oddanost NVIDIE k efektivním a vysoko výkonným řešením umělé inteligence je patrná v jejím uplatnění techniky strukturované řídkosti. Použitím strukturované řídkosti ke snížení výpočtů inženýři NVIDIE dosáhli zrychlení až o 33% při inferenci s Llama 2. Tímto způsobem společnost prokazuje svou oddanost překračování hranic AI technologií.
Do budoucna zakládá zakladatel a generální ředitel NVIDIE, Jensen Huang, během nedávné konference GTC, že příští GPU s architekturou Blackwell od NVIDIE dosáhnou ještě vyšších výkonnostních úrovní. Tyto GPU budou speciálně navrženy k setkání se stále rostoucími požadavky velkých jazykových modelů, což umožní trénování a inferenci vícebilionových parametrických AI modelů.
Pro více informací o pokroku NVIDIE v oblasti generativní AI a jejích MLPerf benchmark testech navštivte [oficiální webové stránky NVIDIE](https://www.nvidia.com).
FAQ:
Q: Co je to TensorRT-LLM?
A: TensorRT-LLM je speciální nástroj vyvinutý společností NVIDIA k zjednodušení úloh inferencí pro velké jazykové modely (LLM). Zlepšuje výkon a efektivitu v aplikacích generativní AI.
Q: Co jsou MLPerf benchmark testy?
A: MLPerf benchmark testy jsou sada standardních benchmarků v průmyslu používaných k hodnocení výkonu systémů a modelů strojového učení ve různých oblastech a úlohách.
Q: Co je strukturovaná řídkost?
A: Strukturovaná řídkost je technika používaná ke snížení výpočtů v modelech umělé inteligence identifikací a využitím vzorců řídkosti ve datech. Pomáhá vylepšit efektivitu a rychlost inferenčních úkolů.
Q: Jaký je význam GPU řady H200?
A: GPU řady H200 od NVIDIE nabízejí impozantní paměťový průtok a výkon, což je činí ideální pro paměťově náročné úkoly v oblasti generativní AI a strojového učení.
The source of the article is from the blog lanoticiadigital.com.ar