Egy korábbi cikkünkben kiemeltük az NVIDIA L40S-t, mint egy figyelemre méltó alternatívát az NVIDIA A100 és H100 GPU-khoz képest, előnyökkel a ár, teljesítmény és képességek terén. Hogy továbbiakban is elmélyedjünk ebben a témában, egy videót készítettünk a L40S működésének bemutatására a látogatásunk során a Supermicro-hoz.
Az L40S jelentős fejlesztést jelent elődjéhez, az L40-hez képest, különösen az AI képzés és inferencing terén. Annak ellenére, hogy közös örökségük van, egyértelmű, hogy az L40S egyedi fejlesztéseket hoz az asztalra.
Bár az L40 és L40S nem versenyeznek az A100 és H100 abszolút memória kapacitásával, sávszélességével vagy FP64 teljesítményével, érdemes megjegyezni, hogy az AI munkaterhelések egyre inkább prioritást élveznek a hagyományos FP64 számításhoz képest. A legtöbb felhasználó számára ez az áldozat több, mint kielégítőnek kell lennie.
Bár az L40S-nek kevesebb memóriája van az A100-hoz képest, támogatja az NVIDIA Transformer Engine-t és az FP8-at. Az FP8 használata jelentősen csökkenti az adatméretet, lehetővé téve a kevesebb memóriafogyasztást és sávszélesség-igényeket, miközben a teljesítményt fenntartja. Az NVIDIA által promótált Transformer Engine célja a költségek optimalizálása és az AI teljesítmény javítása a részeikben, ami egy olyan szolgáltatás, amit megoszt a H100-al.
Videókódolás és dekódolás szempontjából az L40S egy vizualizáció központú megközelítést kínál, míg a H100 előnyben részesíti a dekódolási képességeket. Ez a különbség lehetőséget ad a felhasználóknak a saját igényeik szerinti rugalmasságra.
Annak ellenére, hogy a H100 gyorsabb, ez jelentősen magasabb árcédulával jár. Jelenleg a H100 közel 2,6-szor drágább, mint az L40S a CDW-n listázott nyilvános árak szerint.
Az L40S másik előnye a könnyű elérhetősége. Ezek a GPU-k könnyebben beszerezhetők az elérhetetlen NVIDIA H100-hoz képest, ami gyakran várakozást jelent a vásárlás során.
Az eredeti publikáció óta kapott visszajelzések rávilágítottak a különböző felhasználási forgatókönyökre az AI klaszterek túlmenően. A felhasználók jelentették, hogy az L40S-t vizualizációra és virtuális GPU (vGPU) klaszterekre használják. A video csövek és az RT magok bevonásával ezek a kártyák zökkenőmentesen át tudnak váltani a vGPU munkaterhelésekből a nap folyamán az AI feladatokra este, amikor a vGPU igények alacsonyabbak.
Egy példa egy olyan rendszerre, amely alkalmas ezekre a felhasználási esetekre a Supermicro SYS-521GE-TNRT.
Összefoglalva, az NVIDIA L40S egy érdekes GPU, könnyen elérhető és olyan funkciókkal rendelkezik, amelyeket hiányoztatnak a H100 és A100. Habár nem felel meg azoknak, akik FP64 számítást igényelnek, kiváló alternatívát jelent az olyan felhasználók számára, akik nem igényelnek ilyen pontosságot.
The source of the article is from the blog jomfruland.net