I en nyligen artikel framhöll vi NVIDIA L40S som ett noteworthy alternativ till NVIDIA A100 och H100 GPU: er, och erbjöd tydliga fördelar när det gäller pris, prestanda och funktioner. För att ytterligare utforska detta ämne har vi producerat en video som visar L40S i aktion under vårt besök på Supermicro.
L40S representerar en betydande förbättring jämfört med sin föregångare, L40, särskilt när det gäller AI-träning och infereraing. Trots deras gemensamma ursprung är det klart att L40S ger unika förbättringar till bordet.
Även om L40 och L40S kanske inte konkurrerar med A100 och H100 när det gäller absolut minneskapacitet, bandbredd eller FP64-prestanda, är det värt att notera att AI-workloads alltmer prioriteras över traditionell FP64-beräkning. För de flesta användare bör denna avvägning vara mer än tillfredsställande.
Även om L40S verkar ha mindre minne jämfört med A100, stöder den NVIDIA Transformer Engine och FP8. Användningen av FP8 minskar signifikant datans storlek, vilket möjliggör mindre minnesförbrukning och bandbreddskrav, samtidigt som prestandan bibehålls. NVIDIA:s marknadsföring av Transformer Engine syftar till att optimera kostnaden och förbättra AI-prestanda i deras komponenter, en funktion som delas med H100.
När det gäller videokodning och avkodning erbjuder L40S ett mer visualiseringscentrerat tillvägagångssätt, medan H100 prioriterar avkodningsfunktioner. Denna distinktion ger användarna flexibilitet baserat på deras specifika behov.
Trots att H100 är snabbare kommer den med en betydligt högre prislapp. För närvarande är H100 ungefär 2,6 gånger dyrare än L40S enligt offentliga priser listade på CDW.
En annan fördel med L40S är tillgängligheten. Dessa GPU: er är lättare att få tag i jämfört med den efterfrågade NVIDIA H100, vilket ofta innebär väntetid för att köpa.
Feedback som har mottagits sedan den ursprungliga publiceringen har gett inblick i olika användningsscenarier bortom AI-kluster. Användare har rapporterat att de använder L40S för visualisering och virtuella GPU (vGPU)-kluster. Med inkluderingen av videorörledningar och RT-kärnor kan dessa grafikkort smidigt övergå från vGPU-arbetsbelastningar under dagen till AI-uppgifter på kvällen när vGPU-kraven är lägre.
Ett exempel på ett system som passar för dessa användningsområden är Supermicro SYS-521GE-TNRT.
Sammanfattningsvis är NVIDIA L40S en intressant GPU, lättillgänglig och med funktioner som H100 och A100 saknar. Även om den kanske inte passar dem som kräver FP64-beräkning, fungerar den som ett utmärkt alternativ för användare som inte har sådana precisionskrav.
The source of the article is from the blog mgz.com.tw