NVIDIA ir uzņēmums, kas ir veicis nozīmīgus uzlabojumus savos MLPerf rādītājos. Pateicoties Hopper arhitektūras GPU, kas darbināti ar TensorRT-LLM, NVIDIA demonstrēja ievērojamu veiktspējas uzlabojumu GPT-J LLM salīdzinājumā ar rezultātiem, kas tika gūti pirms sešiem mēnešiem.
Šie veiktspējas uzlabojumi atspoguļo NVIDIA nepārtrauktās pūles nostiprināt savu dominanci ģeneratīvās AI jomā. Izmantojot TensorRT-LLM, kas ir speciāli izstrādāts, lai optimizētu lielas valodu modelēšanas (LLM) uzdevumus, NVIDIA ir iespējojusi uzņēmumiem, kas ir pirmkārtīgi inovācijā, optimizēt savus modeļus. To ir atvieglots arī ar NVIDIA NIM, paketi ar ietvaru mikropakalpojumus, kas ietver spēcīgus dzinējus, piemēram, TensorRT-LLM. NVIDIA NIM integrētā pieeja vienkāršo NVIDIA lēmumu pieņemšanas platformas ieviešanu, sniedzot uzņēmumiem nesalīdzināmu efektivitāti un elastību.
Nesenie MLPerf rādītāji arī demonstrēja NVIDIA jaunāko H200 Tensor Core GPU spējas, darbojoties ar TensorRT-LLM. Šie atmiņas uzlabotie GPU, kas iepazīstina sevi ar MLPerf arenu, panāca izcilu caurvadi, radot līdz pat 31 000 žetonu sekundē par Llama 2 70B mērvienības rezultātu. Tas atspoguļo iespaidīgās ģeneratīvās AI spējas, kas ir raksturīgas NVIDIA jaunākajiem aparatūras risinājumiem.
Papildus veiktspējas pieaugumam NVIDIA ir paveikusi ievērojamus soļus termisko pārvaldību ar saviem H200 GPU. Termiskās pārvaldības pielāgotie risinājumi ir veicinājuši veiktspējas pieaugumu līdz pat 14%. To atspoguļo tīklu būvētāju izmantotie izgudrojumi NVIDIA MGX dizainā, turklāt uzlabojot Hopper GPU veiktspējas iespējas.
Kā NVIDIA turpina inovāciju, tā jau sākusi nosūtīt H200 GPU gandrīz 20 zīmīgiem tīklu būvētājiem un mākoņpakalpojumu sniedzējiem. Šie GPU, ar gandrīz 5 TB/sekundes apjomu, nodrošina izcilu veiktspēju, īpaši atmiņas intensīvas MLPerf novērtēšanās uzdevumos, piemēram, ieteikumu sistēmās.
NVIDIA apņemšanās pārkāpt AI tehnoloģiju robežas ir skaidra tās pieņemot strukturētas retumības tehnikas. Izmantojot strukturēto retumu, pieeju, kura velta uzmanību samazinot aprēķinus, NVIDIA inženieri panāca ātruma uzlabojumus līdz pat 33% ar Llama 2 mērījumiem. Tas atspoguļo uzņēmuma apņemšanos nodrošināt efektīvas un augstas veiktspējas AI risinājumus.
Skatoties uz priekšu, NVIDIA dibinātājs un izpilddirektors Jensens Huangs nesenajā GTC konferencē atklāja, ka gaidāmajiem NVIDIA Blackwell arhitektūras GPU nodos vēl augstākas veiktspējas līmeņus. Šie GPU tiks speciāli izstrādāti, lai apmierinātu liela mēroga valodu modelu palielinās pieprasījumu, iespējojot apmācību un secinājumu par daudztriljonu parametru AI modeļiem.
Bieži uzdotie jautājumi:
J: Kas ir TensorRT-LLM?
A: TensorRT-LLM ir speciāls rīks, ko izstrādājusi NVIDIA, lai optimizētu lielu valodu modeļu (LLM) secinājumu uzdevumus. Tas uzlabo veiktspēju un efektivitāti ģeneratīvajās AI lietojumprogrammās.
J: Kas ir MLPerf rādītāji?
A: MLPerf rādītāji ir kopums nozares standartu rādītāju, kas tiek izmantoti, lai novērtētu mašīnmācīšanās sistēmu un modelēšanas veiktspēju dažādos nozarēs un uzdevumos.
J: Kas ir strukturētā retība?
A: Strukturēta retība ir tehnika, kas tiek izmantota, lai samazinātu aprēķinus AI modeļos, identificējot un izmantojot datu retības paraugus. Tas palīdz uzlabot efektivitāti un ātrumu secinājumu uzdevumos.
J: Kāda ir nozīme H200 GPU?
A: NVIDIA H200 GPU piedāvā iespaidīgu atmiņas joslu un veiktspēju, padarot tos piemērotus atmiņas intensīviem uzdevumiem ģeneratīvajā AI un mašīnmācīšanās jomā.
Avoti:
– NVIDIA oficiālā mājaslapa: nvidia.com
Lai iegūtu plašāku informāciju par NVIDIA progresu ģeneratīvajā AI un MLPerf rādītājus, apmeklējiet [NVIDIA oficiālo mājaslapu](https://www.nvidia.com).
The source of the article is from the blog smartphonemagazine.nl