V nedávném článku jsme zdůraznili NVIDIA L40S jako pozoruhodnou alternativu k GPU NVIDIA A100 a H100, která nabízí výhody v ceně, výkonu a schopnostech. Abychom tuto tématiku blíže prozkoumali, připravili jsme video, ve kterém L40S předvádíme při naší návštěvě u společnosti Supermicro.
L40S představuje značné zlepšení oproti svému předchůdci L40, zejména v oblasti školení a inferování umělé inteligence. Je zřejmé, že L40S přináší na stůl jedinečné vylepšení, ačkoli mají obě GPU společného dědice.
Zatímco L40 a L40S nemusí konkurovat A100 a H100 v absolutní kapacitě paměti, propustnosti nebo výkonu FP64, je třeba poznamenat, že práce s umělou inteligencí je stále více prioritou než tradiční výpočty FP64. Pro většinu uživatelů by tento obchodní vyvážený přístup měl předběhnout očekávání.
I když L40S má na první pohled menší paměť v porovnání s A100, podporuje NVIDIA Transformer Engine a FP8. Použití FP8 významně snižuje velikost dat, což umožňuje menší spotřebu paměti a požadavky na propustnost, přičemž se zachovává výkon. Propagace Transformer Engine od NVIDIE si klade za cíl optimalizovat náklady a zlepšit výkon umělé inteligence ve svých součástech, což je funkce sdílená s H100.
Pokud jde o kódování a dekódování videa, L40S nabízí více vizualizačně zaměřený přístup, zatímco H100 dává přednost schopnostem dekódování. Tato odlišnost uživatelům poskytuje flexibilitu na základě jejich konkrétních potřeb.
Přestože H100 je rychlejší, má významně vyšší cenové značení. V současné době je H100 zhruba 2,6krát dražší než L40S dle veřejných cen uvedených na CDW.
Další výhodou L40S je jeho dostupnost. Tyto GPU jsou snadněji dostupné ve srovnání s žádaným NVIDIA H100, u kterého často dochází k čekání ve frontě při nákupu.
Zpětná vazba, kterou jsme od zveřejnění článku obdrželi, osvětlila různé scénáře použití mimo skupiny umělé inteligence. Uživatelé hlásili využití L40S pro vizualizaci a sdružování virtuálních GPU (vGPU). Díky zahrnutí video pipeline a RT jader mohou tyto karty načítat vGPU úlohy během dne a přecházet na úlohy umělé inteligence večer, kdy jsou požadavky na vGPU nižší.
Jedním příkladem systému vhodného pro tyto účely je Supermicro SYS-521GE-TNRT.
Závěrem lze říci, že NVIDIA L40S je zajímavé GPU, snadno dostupné a nabízející funkce, které H100 a A100 postrádají. Ačkoli možná neuspokojí ty, kteří potřebují výpočty FP64, představuje vynikající alternativu pro uživatele, kteří takovou přesnost nepotřebují.
The source of the article is from the blog elektrischnederland.nl