Οι ερευνητές της Mistral AI έχουν αναπτύξει το Mixtral 8x7B, ένα μοντέλο γλώσσας που χρησιμοποιεί το μοντέλο Sparse Mixture of Experts (SMoE) με ανοικτά βάρη. Αυτό το μοντέλο αποκωδικοποίησης έχει άδεια χρήσης σύμφωνα με την άδεια Apache 2.0 και λειτουργεί ως ένας αραιός δικτυακός συνδυασμός εμπειρογνωμόνων.
Το Mixtral 8x7B προσφέρει εξαιρετική απόδοση χάρη στη μοναδική αρχιτεκτονική του. Το feedforward block του Mixtral αποτελείται από οκτώ διαφορετικές ομάδες παραμέτρων, επιτρέποντας τη δυναμική επιλογή από το δίκτυο router. Αυτή η διαδικασία επιλογής επιτρέπει σε κάθε δείγμα να επεξεργάζεται από δύο ομάδες παραμέτρων, γνωστές ως εμπειρογνώμονες, οι οποίες συνδυάζονται προσθετικά για να παράγουν τα αποτελέσματα. Αυτή η στρατηγική επεκτείνει σημαντικά τον χώρο παραμέτρων του μοντέλου ενώ διατηρεί τον έλεγχο του κόστους και της καθυστέρησης.
Ένα από τα σημαντικά χαρακτηριστικά του Mixtral είναι η αποτελεσματική χρήση των παραμέτρων, που οδηγεί σε γρηγορότερους χρόνους πρόβλεψης τόσο για μικρά όσο και για μεγάλα batch sizes. Σε δοκιμές σύγκρισης, το Mixtral έχει επιδείξει συγκρίσιμη ή ακόμα και ανώτερη απόδοση σε σχέση με άλλα γνωστά μοντέλα γλώσσας, όπως το Llama 2 70B και το GPT-3.5.
Το Mixtral υπερτερεί το Llama 2 70B σε διάφορες εργασίες, συμπεριλαμβανομένης της πολύγλωσσης κατανόησης, παραγωγής κώδικα και μαθηματικών. Το μοντέλο μπορεί αποτελεσματικά να εξάγει δεδομένα από το παράθυρο πληροφοριών του, ανεξάρτητα από το μήκος και τη θέση των δεδομένων μέσα στην ακολουθία.
Προκειμένου να διασφαλιστεί μια δίκαιη αξιολόγηση, η ομάδα ερευνητών πραγματοποίησε εκτεταμένες συγκρίσεις μεταξύ του Mixtral και των μοντέλων Llama σε μια ευρεία γκάμα benchmark. Αυτές οι αξιολογήσεις κάλυπταν μαθηματικά, κώδικα, κατανόηση ανάγνωσης, λογική σκέψη, κοινή λογική, γνώση του κόσμου και δημοφιλή συμπερασματικά αποτελέσματα.
Πέρα από το Mixtral 8x7B, οι ερευνητές παρουσίασαν επίσης το Mixtral 8x7B – Instruct, ένα μοντέλο συνομιλίας που έχει βελτιστοποιηθεί για οδηγίες. Μέσω της απευθείας βελτιστοποίησης προτιμήσεων και της επιβλεπόμενης εκπαίδευσης, το Mixtral – Instruct έχει υπερτερήσει άλλα μοντέλα συνομιλίας, όπως το GPT-3.5 Turbo και το Llama 2 70B.
Για να προωθήσει την ευρεία πρόσβαση και τις ποικίλες εφαρμογές, τόσο το Mixtral 8x7B όσο και το Mixtral 8x7B – Instruct έχουν άδεια χρήσης σύμφωνα με την άδεια Apache 2.0, επιτρέποντας την εμπορική και ακαδημαϊκή χρήση.
Η ανάπτυξη του Mixtral 8x7B αναδεικνύει την εξαιρετική του απόδοση και ευελιξία σε διάφορους τομείς. Από μαθηματικά και προβλήματα κώδικα μέχρι κατανόηση ανάγνωσης, συλλογισμό και γενική γνώση, το Mixtral επιδεικνύει εντυπωσιακές ικανότητες ως ένα ισχυρό μοντέλο γλώσσας.
The source of the article is from the blog newyorkpostgazette.com