Η NVIDIA, ηγέτης στις τεχνολογίες γεννητικής τεχνητής νοημοσύνης, ανακοίνωσε σημαντικές βελτιώσεις στην απόδοσή της στα MLPerf benchmarks. Οι GPU αρχιτεκτονικής Hopper της εταιρείας, με την υποστήριξη του TensorRT-LLM, επέδειξαν αύξηση 3 φορές στην απόδοση στο GPT-J LLM σε σύγκριση με τα αποτελέσματα από πριν από έξι μήνες.
Αυτές οι βελτιώσεις στην απόδοση υπογραμμίζουν τις συνεχείς προσπάθειες της NVIDIA να συμπαγώσει την κυριαρχία της στον τομέα της γεννητικής τεχνητής νοημοσύνης. Αξιοποιώντας το TensorRT-LLM, το οποίο σχεδιάστηκε ειδικά για την επιτάχυνση των εργασιών εφαρμογής για μεγάλα μοντέλα γλωσσικής μάθησης (LLMs), η NVIDIA επέτρεψε σε εταιρείες που βρίσκονται στο προσκήνιο της καινοτομίας να βελτιστοποιήσουν τα μοντέλα τους. Αυτό έγινε επιπλέον εύκολο μέσω της NVIDIA NIM, μια σουίτα υπηρεσιών μικροεξαγωγής που περιλαμβάνει ισχυρές μηχανές όπως το TensorRT-LLM. Η ολοκληρωμένη προσέγγιση που προσφέρει η NVIDIA NIM απλοποιεί την ανάπτυξη της πλατφόρμας εφαρμογής της NVIDIA, παρέχοντας στις επιχειρήσεις ασύγκριτη αποτελεσματικότητα και ευελιξία.
Τα πρόσφατα MLPerf benchmarks έδειξαν επίσης τις ικανότητες των πιο πρόσφατων GPU H200 Tensor Core της NVIDIA κατά την εκτέλεση του TensorRT-LLM. Αυτά τα GPUs με βελτιωμένη μνήμη, κάνοντας την παρουσία τους στην αρένα των MLPerf, επέτυχαν εξαιρετική θρύληση, δημιουργώντας έως 31.000 τοκενς το δευτερόλεπτο στο benchmark της Llama 2 70B. Αυτό υποδηλώνει τις εντυπωσιακές ικανότητες γεννητικής νοημοσύνης των πιο πρόσφατων υλικών της NVIDIA.
Εκτός από τα κέρδη στην απόδοση, η NVIDIA έχει κάνει επίσης σημαντικά βήματα στο χειρισμό της θερμικής διαχείρισης με τα GPU της H200. Εξατομικευμένες λύσεις στη θερμική διαχείριση έχουν συμβάλει στα κέρδη απόδοσης έως και 14%. Αυτό επιδεικνύεται από τις δημιουργικές εφαρμογές των σχεδίων NVIDIA MGX από τους κατασκευαστές συστημάτων, βελτιώνοντας περαιτέρω τις δυνατότητες απόδοσης των GPU της σειράς Hopper.
Καθώς η NVIDIA συνεχίζει την καινοτομία της, έχει ήδη ξεκινήσει την αποστολή των GPU H200 σε σχεδόν 20 κορυφαίες εταιρείες κατασκευής συστημάτων και παροχείς υπηρεσιών Cloud. Αυτά τα GPU, με εντυπωσιακό εύρος μνήμης σχεδόν 5 TB/δευτερόλεπτο, προσφέρουν εξαιρετική απόδοση, ιδιαίτερα σε αξιολογήσεις MLPerf που απαιτούν πολύ μνήμη όπως τα συστήματα σύστασης.
Η αφοσίωση της NVIDIA στο να ωθήσει τα όρια της τεχνολογίας AI είναι εμφανής στην υιοθέτησή της τεχνικών όπως η δομημένη αραιότητα. Χρησιμοποιώντας τη δομημένη αραιότητα, μια προσέγγιση που αποσκοπεί στη μείωση των υπολογισμών, οι μηχανικοί της NVIDIA επέτυχαν βελτιώσεις ταχύτητας έως 33% στην εφαρμογή με Llama 2. Αυτό δείχνει την αφοσίωση της εταιρείας στην παροχή αποδοτικών και υψηλών επιδόσεων λύσεων AI.
Στο μέλλον, ο ιδρυτής και CEO της NVIDIA, Jensen Huang, αποκάλυψε κατά τη διάρκεια της πρόσφατης διάσκεψης GTC ότι οι επερχόμενοι GPU αρχιτεκτονικής NVIDIA Blackwell θα προσφέρουν ακόμα υψηλότερα επίπεδα απόδοσης. Αυτές οι κάρτες γραφικών θα σχεδιαστούν ειδικά για να ικανοποιούν τις αυξανόμενες απαιτήσεις των μεγάλων μοντέλων γλωσσικών, επιτρέποντας την εκπαίδευση και την εφαρμογή δισεκατομμυριαρίων παραμέτρων AI μοντέλων.
Συχνές Ερωτήσεις:
Ε: Τι είναι το TensorRT-LLM;
Α: Το TensorRT-LLM είναι ένα εξειδικευμένο εργαλείο που αναπτύχθηκε από την NVIDIA για την επιτάχυνση εργασιών εφαρμογής για μεγάλα μοντέλα γλωσσικής μάθησης (LLMs). Βελτιώνει την απόδοση και την αποτελεσματικότητα σε εφαρμογές γεννητικής τεχνητής νοημοσύνης.
Ε: Τι είναι τα MLPerf benchmarks;
Α: Τα MLPerf benchmarks είναι ένα σύνολο βιομηχανικών προτύπων μετρήσεων που χρησιμοποιούνται για να αξιολογήσουν την απόδοση των συστημάτων μηχανικής μάθησης και μοντέλων σε διαφορετικούς τομείς και εργασίες.
Ε: Τι είναι η δομημένη αραιότητα;
Α: Η δομημένη αραιότητα είναι μια τεχνική που χρησιμοποιείται για τη μείωση των υπολογισμών σε μοντέλα AI, εντοπίζοντας και χρησιμοποιώντας πρότυπα αραιότητας στα δεδομένα. Βοηθά στη βελτίωση της αποδοτικότητας και της ταχύτητας των εργασιών απόφασης.
Ε: Ποια είναι η σημασία των GPU H200;
Α: Τα GPU H200 της NVIDIA προσφέρουν εντυπωσιακό εύρος μνήμης και απόδοση, καθιστώντας τα κατάλληλα για εργασίες που απαιτούν πολλή μνήμη στη γεννητική νοημοσύνη και τη μηχανική μάθηση.
Πηγές:
– Επίσημη Ιστοσελίδα της NVIDIA: NVIDIA
[Δείτε το βίντεο για περισσότερες πληροφορίες](https://www.youtube.com/embed/_SloSMr-gFI)
