Dans un article récent, nous avons souligné le NVIDIA L40S comme une alternative intéressante aux processeurs graphiques NVIDIA A100 et H100, offrant des avantages distincts en termes de prix, de performances et de capacités. Pour approfondir ce sujet, nous avons produit une vidéo présentant le L40S en action lors de notre visite chez Supermicro.
Le L40S représente une amélioration significative par rapport à son prédécesseur, le L40, notamment en matière de formation à l’intelligence artificielle et d’inférence. Malgré leur héritage commun, il est clair que le L40S apporte des améliorations uniques.
Bien que les L40 et L40S ne puissent pas rivaliser avec les A100 et H100 en termes de capacité mémoire absolue, de bande passante ou de performances FP64, il convient de noter que les charges de travail d’intelligence artificielle sont de plus en plus prioritaires par rapport au calcul FP64 traditionnel. Pour la plupart des utilisateurs, ce compromis devrait largement suffire.
Bien que le L40S semble avoir moins de mémoire que le A100, il est compatible avec le moteur NVIDIA Transformer et le FP8. L’utilisation du FP8 réduit considérablement la taille des données, permettant une consommation de mémoire et des besoins en bande passante réduits, tout en conservant de bonnes performances. La promotion du moteur Transformer par NVIDIA vise à optimiser les coûts et à améliorer les performances de l’intelligence artificielle dans leurs composants, une caractéristique partagée avec le H100.
En ce qui concerne l’encodage et le décodage vidéo, le L40S offre une approche plus axée sur la visualisation, tandis que le H100 privilégie les capacités de décodage. Cette distinction offre aux utilisateurs une flexibilité en fonction de leurs besoins spécifiques.
Malgré sa plus grande rapidité, le H100 est associé à un prix considérablement plus élevé. Actuellement, le H100 est environ 2,6 fois plus cher que le L40S selon les prix publics indiqués sur CDW.
Un autre avantage du L40S est sa disponibilité. Ces processeurs graphiques sont plus faciles à obtenir par rapport à la demande élevée pour le NVIDIA H100, qui nécessite souvent de faire la queue pour un achat.
Les commentaires reçus depuis la publication initiale ont mis en lumière divers scénarios d’utilisation au-delà des clusters d’intelligence artificielle. Les utilisateurs ont signalé avoir utilisé le L40S pour la visualisation et les clusters de GPU virtuels (vGPU). Grâce à l’inclusion de pipelines vidéo et de cœurs RT, ces cartes peuvent passer facilement des charges de travail vGPU pendant la journée aux tâches d’intelligence artificielle le soir, lorsque la demande vGPU est moins importante.
Un exemple de système adapté à ces cas d’utilisation est le Supermicro SYS-521GE-TNRT.
En conclusion, le NVIDIA L40S est un GPU intrigant, facilement disponible et offrant des fonctionnalités absentes chez le H100 et le A100. Bien qu’il ne convienne pas à ceux qui ont besoin de calculs FP64, il constitue une excellente alternative pour les utilisateurs qui n’ont pas besoin d’une telle précision.
The source of the article is from the blog hashtagsroom.com