NVIDIA on tehisintellekti valdkonnas juhtiv ettevõte, mis on teatanud olulistest jõudluse täiustustest oma MLPerf-i hindamistes. Ettevõtte Hopperi arhitektuuri GPU-d, mida toidab TensorRT-LLM, näitasid märkimisväärset 3-kordset jõudluse suurenemist võrreldes tulemustega vaid kuus kuud tagasi.
Need jõudluseparandused toovad esile NVIDIA püsivad pingutused kindlustada oma domineerimine generatiivse tehisintellekti valdkonnas. Kasutades TensorRT-LLM’i, mis on spetsiaalselt loodud suurte keelemudelite (LLM) hindamiste ülesannete lihtsustamiseks, on NVIDIA võimaldanud innovatsiooni esirinnas olevatel ettevõtetel optimeerida oma mudeleid. Seda on edaspidi hõlbustatud NVIDIA NIM-iga, komplektiga väikesteks hindamismikrosüsteemideks, mis sisaldab võimsaid mootoreid nagu TensorRT-LLM. NVIDIA NIM poolt pakutav integreeritud lähenemisviis lihtsustab NVIDIA hindamisplatvormi kasutuselevõttu, pakkudes ettevõtetele enneolematut tõhusust ja paindlikkust.
Hiljutised MLPerf-i hindamised näitasid ka NVIDIA uusimate H200 Tensor Core GPU-de võimsust TensorRT-LLM-i töö käigus. Need mäluga täiustatud GPU-d, tehes oma debüüdi MLPerf-i areenil, saavutasid erakordse läbilaskvuse, luues kuni 31 000 märki sekundis Llama 2 70B hindamisel. See toob esile NVIDIA viimaste riistvarade muljetavaldavad generatiivse tehisintellekti võimalused.
Lisaks jõudluse kasvule on NVIDIA teinud olulisi edusamme termilises halduses oma H200 GPU-dega. Kohandatud termilahendused on aidanud kaasa kuni 14% jõudluse kasvule. See avaldub süsteemiarendajate loovates NVIDIA MGX disainide rakendustes, täiustades veelgi Hopperi GPU-de jõudluskõvadusi.
Kuna NVIDIA jätkab innovatsiooni, on ettevõte juba alustanud H200 GPU-de saatmist peaaegu 20 mõjuka süsteemiarendaja ja pilveteenuse pakkujani. Need GPU-d, mille mälu ribalaius on peaaegu 5 TB/sekundis, pakuvad erakordset jõudlust, eriti mäluintensiivsetes MLPerf-i hindamistes nagu soovitussüsteemid.
NVIDIA pühendumus tehisintellekti tehnoloogia piiride edasiarendamisele on ilmne selle toetamisel struktureeritud hõreduse tehnikat. Struktureeritud hõredust kasutades, lähenemisviisi, mille eesmärk on vähendada arvutusi, saavutasid NVIDIA insenerid kiiruse suurendamise kuni 33% võrra hindamisel Llama 2. See näitab ettevõtte pühendumist tõhusate ja kõrge jõudlusega tehisintellekti lahenduste pakkumisele.
Tulevikku vaadates avalikustas NVIDIA asutaja ja tegevjuht Jensen Huang hiljutisel GTC konverentsil, et saabuvad NVIDIA Blackwelli arhitektuuriga GPU-d pakuvad veelgi kõrgemat jõudlust. Need GPU-d on spetsiaalselt kavandatud vastamaks suurte keelemudelite kasvavatele nõudmistele, võimaldades mitmekordsete triljoni parameetri AI mudelite väljaõpet ja hindamist.
Kui soovite rohkem teavet NVIDIA edusammude kohta generatiivse tehisintellekti ja MLPerf hindamistes, külastage [NVIDIA ametlikku veebisaiti](https://www.nvidia.com).
The source of the article is from the blog xn--campiahoy-p6a.es