Η Cerebras Systems ανακοίνωσε μια επαναστατική εξέλιξη στον τομέα της τεχνητής νοημοσύνης με την τελευταία της καινοτομία, το Wafer Scale Engine 3 (WSE-3). Με διπλάσια απόδοση σε σχέση με τον προκάτοχό του, το WSE-2, αυτό το επαναστατικό τσιπ τεχνητής νοημοσύνης έχει ως στόχο να επαναπροσδιορίσει τις δυνατότητες των μοντέλων AI.
Ο WSE-3 είναι ένα εντυπωσιακό επίτευγμα της μηχανικής, με 4 τρισεκατομμύρια τρανζίστορ να κατασκευάζονται στην κορυφαία διαδικασία κατασκευής 5nm-class της TSMS. Διαθέτει επίσης 900.000 πυρήνες AI, παρέχοντας ασύγκριτη υπολογιστική ισχύ. Επιπλέον, το τσιπ διαθέτει 44GB on-chip SRAM, βελτιώνοντας ακόμα περισσότερο την απόδοσή του. Με μέγιστη απόδοση 125 FP16 PetaFLOPS, το WSE-3 είναι σχεδιασμένο για να αντιμετωπίσει τις πιο απαιτητικές εργασίες AI.
Μία από τις βασικές εφαρμογές για το WSE-3 της Cerebras είναι η εκπαίδευση ορισμένων από τα μεγαλύτερα μοντέλα AI στη βιομηχανία. Σε συνδυασμό με τον υπερυπολογιστή CS-3 της Cerebras, το WSE-3 μπορεί να εκπαιδεύσει μοντέλα AI με έως και 24 τρισεκατομμύρια παραμέτρους. Αυτή η σημαντική πρόοδος ξεπερνά τις δυνατότητες των υπερυπολογιστών που τροφοδοτούνται από επεξεργαστές AI της προηγούμενης γενιάς, ανοίγοντας νέους ορίζοντες στην έρευνα και ανάπτυξη της τεχνητής νοημοσύνης.
Ο υπερυπολογιστής CS-3 δεν αξιοποιεί μόνο την ασύγκριτη ισχύ του WSE-3 αλλά προσφέρει επίσης ανεξήγητα υψηλά επίπεδα χωρητικότητας αποθήκευσης. Μπορεί να υποστηρίξει έως 1,2PB εξωτερικής μνήμης, επιτρέποντας την αποθήκευση μαζικών μοντέλων σε έναν μόνο λογικό χώρο χωρίς την ανάγκη για διαμερισμό ή αναδιαμόρφωση. Αυτή η εξειδικευμένη προσέγγιση στην εκπαίδευση εξαλείφει περιττές πολυπλοκότητες, βελτιώνοντας την αποτελεσματικότητα των προγραμματιστών και διευκολύνοντας τις καινοτομίες στην τεχνητή νοημοσύνη.
Η επεκτασιμότητα είναι ένα άλλο βασικό στοιχείο του υπερυπολογιστή CS-3. Μπορεί να διαμορφωθεί σε συστήματα συστάδων έως 2048 συστήματα, παρέχοντας αξιοσημείωτη ευελιξία και τεράστια υπολογιστική ισχύ. Χρησιμοποιώντας αυτήν την επεκτασιμότητα, το CS-3 μπορεί να βελτιώσει μοντέλα με 70 δισεκατομμύρια παραμέτρους μέσα σε μία μόνο ημέρα με τετράσυστη προσαρμογή. Επιπλέον, μπορεί να εκπαιδεύσει ένα μοντέλο Llama 70B από το μηδέν στον ίδιο χρονικό πλαίσιο, επιδεικνύοντας την εντυπωσιακή του απόδοση ακόμα και σε πλήρη κλίμακα.
Το τελευταίο Cerebras Software Framework, σε συνδυασμό με το CS-3, προσφέρει φυσική υποστήριξη υπέρ του PyTorch 2.0 και δυναμικής και μη δομημένης αραιότητας. Αυτά τα χαρακτηριστικά επιταχύνουν τις ταχύτητες εκπαίδευσης έως και οκτώ φορές γρηγορότερα από τις παραδοσιακές μεθόδους, καθιστώντας την Cerebras στην πρωτοπορία της τεχνολογίας της τεχνητής νοημοσύνης.
Η ενεργειακή αποδοτικότητα και η ευκολία χρήσης αποτελούν άλλα δυνατά σημεία του CS-3. Παρά το ότι διπλασίασε την απόδοσή του σε σύγκριση με τον προκάτοχό του, το CS-3 διατηρεί την ίδια κατανάλωση ενέργειας. Αυτή η βελτιστοποίηση εξασφαλίζει ότι ο υπερυπολογιστής της Cerebras είναι ταυτόχρονα ενεργειακά αποδοτικός και ευνοϊκός για το περιβάλλον. Επιπλέον, το CS-3 απλοποιεί την εκπαίδευση μεγάλων μοντέλων γλώσσας (LLMs), μειώνοντας δραματικά τον απαιτούμενο κώδικα. Σύμφωνα με τη Cerebras, η εκπαίδευση ενός μοντέλου μεγέθους GPT-3 στην πλατφόρμα τους απαιτεί μόνο 565 γραμμές κώδικα, μια σημαντική μείωση σε σχέση με τις GPUs.
Ο CS-3 έχει ήδη προκαλέσει σημαντικό ενδιαφέρον σε πολλούς τομείς, συμπεριλαμβανομένων των επιχειρήσεων, της κυβέρνησης και των διεθνών νεφών. Η Cerebras έχει συγκεντρώσει ένα σημαντικό χαρτοφυλάκιο παραγγελιών, υπογραμμίζοντας την ευρεία ζήτηση για αυτήν την κορυφαία τεχνολογία. Οι συνεργασίες με σεβασμό προς ιδρύματα όπως το Argonne National Laboratory και το Mayo Clinic υπογραμμίζουν περαιτέρω το δυναμικό του CS-3 στην υγειονομική φροντίδα και σε άλλους κρίσιμους κλάδους.
Επιπλέον, η Cerebras συνεργάζεται με την G42 για την κατασκευή του Condor Galaxy 3, ενός υπερυπολογιστή που θα περιλαμβάνει 64 συστήματα CS-3. Μαζί, η Cerebras και η G42 έχουν ήδη αναπτύξει δύο από τους μεγαλύτερους υπερυπολογιστές AI στον κόσμο, το Condor Galaxy 1 (CG-1) και το Condor Galaxy 2 (CG-2). Αυτοί οι υπερυπολογιστές, που βρίσκονται στην Καλιφόρνια, διαθέτουν συνολική απόδοση 8 ΕξαFLOPs. Η συνεργασία αποσκοπεί στην παράδοση δεκάδων εξαFLOPs AI υπολογιστικής ισχύος σε παγκόσμια κλίμακα, επιδεικνύοντας το ατέλειωτο δυναμικό για προαγωγή της τεχνητής νοημοσύνης.
Συνολικά, το Wafer Scale Engine 3 της Cerebras Systems αντιπροσωπεύει ένα σημαντικό άλμα προόδου στην τεχνολογία της τεχνητής νοημοσύνης. Η πρωτοφανής απόδοση, η ενεργειακή αποδοτικότητα και η επεκτασιμότητά του το καθιστούν παιχνιδομηχανή για την έρευνα, την ανάπτυξη και την υλοποίηση της τεχνητής νοημοσύνης. Καθώς η Cerebras συνεχίζει να επινοεί, οι δυνατότητες των εφαρμογών της τεχνητή
The source of the article is from the blog rugbynews.at