NVIDIA har på nytt vist si dominans innanfor generativ AI med oppsiktsvekkande ytelsesforbetringar i MLPerf-benkar. Ved hjelp av Hopper-arkitekturprosessorane, drevet av TensorRT-LLM, har selskapet oppnådd ein imponerande 3x ytelsesauke på GPT-J LLM samanlikna med resultat frå berre seks månader sidan.
Desse ytelsesforbetringane framhev NVIDIAs kontinuerlige innsats for å solidifisera si dominans innan generativ AI. Gjennom å nyttiggjera seg av TensorRT-LLM, som er spesielt utforma for å forenkle inferanseoppgåver for store språkmodellar (LLM), har NVIDIA gjort det mulig for selskap i fronten av innovasjon å optimisera modellane sine. Dette er vidare letta av NVIDIA NIM, ein suite av inferansetenester som inkluderer kraftige motorar som TensorRT-LLM. Den integrerte tilnærminga som NVIDIA NIM tilbyr forenkler implementeringa av NVIDIAs inferanseplattform og gir bedrifter ei unik effektivitet og fleksibilitet.
Dei nylege MLPerf-benkena viste også kraften til NVIDIAs nyaste H200 Tensor Core Graphics Processing Units (GPUs) når dei køyrer TensorRT-LLM. Desse minneforsterkede GPU-ane, som gjer deira debut i MLPerf-arenaen, oppnådde eineståande gjennomstrøyming ved å generere opp til 31 000 token per sekund på Llama 2 70B-benken. Dette framhevar dei imponerande generative AI-evnene til NVIDIAs nyaste maskinvare.
I tillegg til ytelsesfordeler har NVIDIA også gjort betydelege fremskritt innanfor termisk styring med sine H200 GPU-ar. Spesialdessegn av termisk styring har bidrege til ytelsesaukar på opptil 14%. Dette er døme på kreative implementeringar av NVIDIAs MGX-design av systembyggjarar, som vidare forsterkar ytelseigenskapane til Hopper GPU-ane.
Medan NVIDIA held fram med å nyskapast, har dei allereie starta å senda ut H200 GPU-er til nesten 20 fremståande systembyggjarar og skytenesteleverandørar. Desse GPU-ane, med imponerande minnebåndbreidd på nesten 5 TB/sekund, tilbyr eksepsjonell ytelse, særleg i minne-intensive MLPerf-vurderingar slik som anbefalingssystem.
NVIDIAs engasjement for å utfordra grensene til AI-teknologi er tydeleg i deira bruk av teknikkar som strukturert sparsitet. Ved å nytta strukturert sparsitet, ein tilnærming som siktar på å redusera berekningar, oppnådde NVIDIAs ingeniørar hastighetsauk på opptil 33% på inferanse med Llama 2. Dette syner selskapet si forpliktelse til å levera effektive og høyytande AI-løysingar.
Når ein ser mot framtida, avslørte NVIDIAs grunnleggar og administrerande direktør, Jensen Huang, under den siste GTC-konferansen at dei kommende NVIDIA Blackwell-arkitektur-GPU-ane vil levere enno høgare ytelsesnivå. Desse GPU-ane vil bli spesifikt designa for å møta dei aukande krava til store språkmodellar, og gje trening og inferanse av multi-trillion-parameter-AI-modellar.
For meir informasjon om NVIDIAs framskritt innanfor generativ AI og MLPerf-benkar, besøk [NVIDIAs offisielle nettside](https://www.nvidia.com).
Ofte stilte spørsmål:
The source of the article is from the blog oinegro.com.br