Son bir makalemizde, NVIDIA L40S’in NVIDIA A100 ve H100 GPU’larına alternatif olarak dikkate değer bir seçenek olduğunu vurgulamıştık. Fiyat, performans ve yetenekler açısından önemli avantajlar sunan L40S’i daha detaylı incelemek için Supermicro ziyaretimiz sırasında L40S’yi pratikte gösteren bir video hazırladık.
L40S, özellikle yapay zeka eğitimi ve çıkarsaması konusunda öncülü olan L40’ın önemli bir ilerleme kaydetmesini temsil ediyor. Ortak miraslarına rağmen, açıkça L40S’in masaya farklı geliştirmeler getirdiği görülmektedir.
L40 ve L40S, mutlak bellek kapasitesi, bant genişliği veya FP64 performansı açısından A100 ve H100 ile rekabet edemeyebilir, ancak yapay zeka iş yükleri geleneksel FP64 hesaplamalardan daha fazla önceliklidir. Çoğu kullanıcı için bu takas beklentilerini karşılamaktadır.
L40S, A100’e kıyasla daha az belleğe sahip gibi görünse de, NVIDIA Transformer Engine ve FP8’i desteklemektedir. FP8’in kullanımı, veri boyutunu önemli ölçüde azaltarak daha az bellek tüketimine ve bant genişliği gereksinimlerine olanak sağlarken, performansı korumaktadır. NVIDIA’nın Transformer Engine’i, maliyeti optimize etmeyi ve parçalarındaki yapay zeka performansını iyileştirmeyi hedeflemektedir ve bu özellik H100 ile paylaşılmaktadır.
Video kodlama ve çözme açısından L40S, daha çok görselleştirme odaklı bir yaklaşım sunarken, H100 çözme yeteneklerini önceliklendirmektedir. Bu ayrım, kullanıcılara ihtiyaçlarına göre esneklik sağlar.
H100 daha hızlı olmasına rağmen, önemli ölçüde daha yüksek bir fiyat etiketiyle gelmektedir. Şu anda H100, CDW’de listelenen kamuya açık fiyatlara göre L40S’ten yaklaşık 2.6 kat daha pahalıdır.
L40S’nin bir diğer avantajı ise mevcudiyetidir. Bu GPU’lar, talep gören NVIDIA H100’e kıyasla daha kolay temin edilebilir ve genellikle satın almak için sıra beklemeyi gerektirmez.
İlk yayınlanmasından bu yana gelen geri bildirimler, yapay zeka kümeleri dışındaki çeşitli kullanım senaryolarını da aydınlatmıştır. Kullanıcılar, L40S’i görselleştirme ve sanal GPU (vGPU) kümeleri için kullanmaktadır. Video boru hatları ve RT çekirdeklerinin dahil edilmesiyle, bu kartlar, vGPU taleplerinin düşük olduğu akşamlarda vGPU iş yüklerinden yapay zeka görevlerine sorunsuz bir şekilde geçiş yapabilir.
Bu kullanım senaryolarına uygun bir sistem örneği, Supermicro SYS-521GE-TNRT’dir.
Sonuç olarak, NVIDIA L40S, hemen temin edilebilen ve H100 ve A100’ün eksik kalan özelliklerini sunan ilginç bir GPU’dur. FP64 hesaplama gerektirenler için uygun olmayabilir, ancak böyle bir hassasiyete ihtiyaç duymayan kullanıcılar için mükemmel bir alternatif olarak hizmet vermektedir.
The source of the article is from the blog rugbynews.at