U nedavnom članku istaknuli smo NVIDIA L40S kao značajnu alternativu NVIDIA A100 i H100 GPU-ima, nudeći posebne prednosti u pogledu cijene, performansi i mogućnosti. Kako bismo dalje istražili ovu temu, proizveli smo video koji prikazuje L40S u akciji tijekom našeg posjeta Supermicrou.
L40S predstavlja značajno poboljšanje u odnosu na svog prethodnika, L40, posebno u obučavanju i zaključivanju umjetne inteligencije. Unatoč zajedničkom nasljeđu, jasno je da L40S donosi jedinstvena poboljšanja na stol.
Iako L40 i L40S možda neće konkurirati A100 i H100 u pogledu apsolutnog kapaciteta memorije, propusnosti ili FP64 performansi, vrijedi napomenuti da se radni tereti umjetne inteligencije sve više prioritetiziraju u odnosu na tradicionalno FP64 računanje. Za većinu korisnika, ova zamjena trebala bi biti više nego zadovoljavajuća.
Iako L40S ima manju memoriju u usporedbi s A100, podržava NVIDIA Transformer Engine i FP8. Upotreba FP8 značajno smanjuje veličinu podataka, omogućavajući manju potrošnju memorije i propusnost, dok se istovremeno održava performanse. NVIDIA-ina promocija Transformer Enginea ima za cilj optimizaciju troškova i poboljšanje performansi umjetne inteligencije u njihovim dijelovima, značajka koju dijeli i H100.
U pogledu enkodiranja i dekodiranja videozapisa, L40S nudi pristup usmjeren na vizualizaciju, dok H100 prioritet daje sposobnostima dekodiranja. Ova razlika korisnicima pruža fleksibilnost na temelju njihovih specifičnih potreba.
Unatoč tome što je H100 brži, dolazi s znatno većom cijenom. Trenutno, prema javno dostupnim cijenama navedenim na CDW-u, H100 je otprilike 2,6 puta skuplji od L40S.
Još jedna prednost L40S-a je njegova dostupnost. Ovi GPU-ovi lakše se mogu nabaviti u usporedbi s traženim NVIDIA H100, što često uključuje čekanje u redu za kupnju.
Povratne informacije primljene od prvotne objave osvijetlile su različite scenarije upotrebe izvan AI klastera. Korisnici su izvijestili o iskorištavanju L40S za vizualizaciju i klastera virtualnih GPU-ova (vGPU). S uključenim video pipelinima i RT jezgrama, ove kartice mogu se besprijekorno prelaziti s vGPU opterećenja tijekom dana na AI zadatke u večernjim satima kada su vGPU zahtjevi manji.
Jedan primjer sustava prikladnog za ove upotrebe je Supermicro SYS-521GE-TNRT.
Zaključno, NVIDIA L40S je intrigantan GPU, lako dostupan i pruža značajke koje nedostaju H100 i A100. Iako možda nije pogodan za one koji zahtijevaju FP64 računanje, služi kao izvrsna alternativa za korisnike koji ne zahtijevaju takvu preciznost.
The source of the article is from the blog elektrischnederland.nl