최근의 기사에서 우리는 NVIDIA L40S를 NVIDIA A100과 H100 GPU의 대안으로 강력하게 소개했습니다. 그것은 가격, 성능, 기능 측면에서 독특한 장점을 제공합니다. 이 주제를 더 자세히 알아보기 위해, 우리는 Supermicro를 방문하면서 L40S를 실제로 사용하는 영상을 제작했습니다.
L40S는 이전 버전인 L40에 비해 AI 훈련 및 추론 분야에서 큰 개선을 나타냅니다. 공통적인 히어리티지를 공유하지만, L40S는 탁월한 개선을 가져왔음을 분명히 알 수 있습니다.
L40과 L40S는 절대적인 메모리 용량, 대역폭, FP64 성능 측면에서 A100과 H100과 경쟁할 수는 없을지 모르지만, AI 워크로드는 전통적인 FP64 연산보다 우선순위가 높아지고 있음을 감안할 필요가 있습니다. 대부분의 사용자에게 이러한 트레이드오프는 충분히 만족스러울 것입니다.
L40S는 A100과 비교했을 때 메모리가 적어 보일지 모르지만, NVIDIA Transformer Engine와 FP8를 지원합니다. FP8의 사용은 데이터 크기를 크게 줄여 메모리 소비와 대역폭 요구를 줄이면서 성능을 유지할 수 있게 해줍니다. NVIDIA는 Transformer Engine를 홍보하여 비용을 최적화하고 부품의 AI 성능을 향상시키고자 합니다. 이 기능은 H100과 공유됩니다.
영상 인코딩 및 디코딩 측면에서 L40S는 시각화 중심적인 접근을 제공하며, H100은 디코딩 능력을 우선시합니다. 이 차이점은 사용자의 특정 요구에 따라 유연성을 제공합니다.
H100은 더 빠르지만, 크게 높은 가격표를 가지고 있습니다. 현재 CDW에 공개된 가격에 따르면, H100은 L40S보다 약 2.6배 비싸다고 합니다.
L40S의 또 다른 장점은 가용성입니다. 이 GPU는 인기있는 NVIDIA H100 대비 더 쉽게 구할 수 있으며, 구매를 위해 줄서기를 해야하는 H100과는 다릅니다.
초기 게시 이후 받은 피드백은 AI 클러스터 이상의 다양한 사용 시나리오에 대한 통찰을 제공했습니다. 사용자들은 L40S를 시각화 및 가상 GPU (vGPU) 클러스터에 활용하고 있다고 보고했습니다. 비디오 파이프 라인과 RT 코어의 포함으로 인해, 이 카드는 vGPU 수요가 낮은 저녁에는 vGPU 워크로드에서 AI 작업으로의 원활한 전환을 가능하게 합니다.
이러한 사용 사례에 적합한 시스템 중 하나는 Supermicro SYS-521GE-TNRT입니다.
결론적으로, NVIDIA L40S는 독특한 기능을 제공하면서도 가용성이 좋으며, H100과 A100에서는 찾아볼 수 없는 기능을 제공하는 흥미로운 GPU입니다. FP64 컴퓨팅을 필요로 하는 사용자에게는 적합하지 않을 수 있지만, 그런 정밀성을 요구하지 않는 사용자에게는 훌륭한 대안 역할을 합니다.
The source of the article is from the blog bitperfect.pe