在最近的一篇文章中，我们强调了NVIDIA L40S作为NVIDIA A100和H100 GPU的一个值得注意的替代品，它在价格、性能和功能方面具有明显的优势。为了进一步探讨这个话题，我们制作了一个视频，展示了L40S在我们对超微的访问过程中的实际应用情况。
L40S相比其前身L40来说，在人工智能训练和推理方面代表了一个重大的改进。尽管它们有着共同的血统，但可以明显看出，L40S在性能方面带来了独特的改进。
虽然L40和L40S在绝对内存容量、带宽或FP64性能方面可能无法与A100和H100竞争，但值得注意的是，人工智能工作负载越来越受到重视，相对于传统的FP64计算。对于大多数用户来说，这种权衡应该是完全满意的。
虽然L40S在内存方面似乎比A100少，但它支持NVIDIA Transformer Engine和FP8。使用FP8可以显着减小数据大小，从而允许更少的内存消耗和带宽需求，同时保持性能。NVIDIA在Transformer Engine的推广旨在优化成本和改善其产品的人工智能性能，这也是与H100共享的特性。
在视频编码和解码方面，L40S提供了更注重可视化的方法，而H100则更注重解码能力。这种区别为用户提供了根据其特定需求的灵活性。
尽管H100速度更快，但价格要高得多。根据CDW上公开的价格，目前H100的价格约为L40S的2.6倍。
L40S的另一个优点是其可获得性。与备受需求的NVIDIA H100相比，这些GPU更容易获取，后者常常需要排队购买。
自初次发布以来收到的反馈揭示了多样的使用场景，超越了人工智能集群。用户报告称他们利用L40S进行可视化和虚拟GPU（vGPU）集群。凭借视频流水线和RT核心的加入，这些卡片可以在白天进行vGPU工作负载，在晚上vGPU需求较低时无缝转换为人工智能任务。
适合这些用例的一个示例是Supermicro SYS-521GE-TNRT系统。
总之，NVIDIA L40S是一款引人注目的GPU，易于获得，并提供了H100和A100所缺乏的功能。虽然它可能不适合需要FP64计算的用户，但对于不需要如此精确性的用户来说，它是一个很好的替代选择。
The source of the article is from the blog radiohotmusic.it