NVIDIA nedávno dosiahla významné vylepšenia vo svojich MLPerf benchmarkoch, čo opäť potvrdzuje jej vedúcu pozíciu v oblasti generatívnej umelej inteligencie. S architektúrou Hopper a GPU poháňanými TensorRT-LLM NVIDIA dosiahla pozoruhodné zvýšenie o 3 krát výkonu v LLM modeli GPT-J oproti výsledkom sprzed šiestich mesiacov. Tieto zlepšenia demonštrujú záväzok NVIDIA optimalizovať modely a upevniť svoju pozíciu v tomto odvetví.
TensorRT-LLM od spoločnosti NVIDIA je špecializovaný nástroj vyvinutý na zjednodušenie úloh inferencie pre veľké jazykové modely (LLM). Uľahčuje nasadenie inferenčnej platformy NVIDIA a poskytuje firmám bezkonkurenčnú efektivitu a flexibilitu. Vďaka TensorRT-LLM môžu firmy optimalizovať svoje modely a dosiahnuť impozantné zlepšenia výkonu.
Okrem zlepšení výkonu sa NVIDIA posunula aj v oblasti manažmentu termálnej stability s jej H200 GPU. Individuálne riešenia v termálnej stabilite prispeli k zvýšeniu výkonu až o 14%. Stavitelia systémov využívajúci dizajny NVIDIA MGX ďalej zvýšili výkonnosť GPU Hopper.
NVIDIA už začala odosielať GPU H200 takmer 20 významným stavitelom systémov a poskytovateľom cloudových služieb. S pamäťovým pásom takmer 5 TB/s tieto GPU ponúkajú vynikajúci výkon, najmä pri pamäťovo náročných hodnoteniach MLPerf, ako sú systémy odporúčania.
Záväzok NVIDIA k efektívnym a vysokej výkonnosti AI riešeniam je zrejmý v jej prijatí techník štruktúrovanej vzájomnej ignorancie. Využitím štruktúrovanej vzájomnej ignorancie na redukciu výpočtov dosiahli inžinieri NVIDIA rýchlostné zlepšenia až o 33% pri inferencii s Llama 2. Toto ukazuje, že spoločnosť je odhodlaná tlačiť hranice AI technológií.
Na základe vyhlásenia zakladateľa a CEO spoločnosti NVIDIA, Jensena Huanga, počas nedávnej konferencie GTC budú budúce grafické karty s architektúrou NVIDIA Blackwell dodávať ešte vyššie úrovne výkonu. Tieto karty budú špeciálne navrhnuté na splnenie rastúcich požiadaviek veľkých jazykových modelov, čím umožnia trénovanie a inferenciu AI modelov s viacero biliónmi parametrov.
Pre viac informácií o pokroku NVIDIA v generatívnej umelej inteligencii a jej MLPerf benchmarkoch navštívte [oficiálnu webovú stránku NVIDIA](https://www.nvidia.com).
Časté otázky:
The source of the article is from the blog mgz.com.tw