Τα μοντέλα τεχνητής νοημοσύνης συνεχίζουν να κάνουν σημαντικά βήματα στην απόδοσή τους, ξεπερνώντας τα ανθρώπινα επίπεδα σε διάφορα πρότυπα. Ωστόσο, αυτά τα πρότυπα δεν είναι χωρίς τους περιορισμούς τους, καθώς ωθούν τους ερευνητές σε αναζήτηση νέων μεθοδολογιών αξιολόγησης.
Ενώ το Smaug-72B, ένα μοντέλο τεχνητής νοημοσύνης που αναπτύχθηκε από την Abacus.AI, επέτυχε ένα εντυπωσιακό μέσο σκορ πάνω από 80, κανένα μοντέλο δεν έχει φτάσει ένα τέλειο σκορ 100 σε κανένα πρότυπο.
Καθώς τα μοντέλα τεχνητής νοημοσύνης ωθούν τα όρια των υπαρχόντων προτύπων, οι ερευνητές αντιμετωπίζουν τον όρο “κορεσμός”. Αυτό το φαινόμενο συμβαίνει όταν τα μοντέλα υπερβαίνουν συγκεκριμένα πρότυπα ή υπερεκπαιδεύουν συγκεκριμένες ερωτήσεις δοκιμής, με αποτέλεσμα τη σταθερή απόδοση σε καθιερωμένες εργασίες αλλά πιθανές προκλήσεις με νέες καταστάσεις ή παραλλαγές. Για να ξεπεραστεί αυτός ο κορεσμός, απαιτείται η δημιουργία νέων προτύπων που αξιολογούν ακριβώς τις εξελισσόμενες ικανότητες των μοντέλων τεχνητής νοημοσύνης.
Ως απάντηση, πλατφόρμες όπως το Chatbot Arena αναδύονται για την αντιμετώπιση των περιορισμών των παραδοσιακών προτύπων. Ιδρύθηκε από τον Οργανισμό Μεγάλων Συστημάτων Μοντέλων, η πλατφόρμα επιτρέπει στους επισκέπτες να αλληλεπιδρούν με τα μοντέλα τεχνητής νοημοσύνης και να ψηφίζουν για το μοντέλο που παρέχει καλύτερη απάντηση στις ερωτήσεις τους. Με πάνω από 300.000 ψήφους ανθρώπων που συμβάλλουν στην κατάταξη, το Chatbot Arena αντιπροσωπεύει έναν πιο ολιστικό τρόπο αξιολόγησης των γλωσσικών μοντέλων.
Οι ερευνητές αναγνωρίζουν ότι η αξιολόγηση με βάση τα πρότυπα μόνο δεν αποτυπώνει την ποικιλία των ικανοτήτων της τεχνητής νοημοσύνης. Τα μοντέλα που ξεχωρίζουν στα πρότυπα σκέψης ενδέχεται να αντιμετωπίζουν προκλήσεις σε συγκεκριμένες περιπτώσεις χρήσης όπως η ανάλυση νομικών εγγράφων ή η αποτελεσματική αλληλεπίδραση με τους χρήστες. Για να αντιμετωπιστεί αυτό, οι ερευνητές πραγματοποιούν “έλεγχους αίσθησης” που εξετάζουν την απόδοση των μοντέλων τεχνητής νοημοσύνης σε διαφορετικές συνθήκες, αξιολογώντας την ικανότητά τους να αλληλεπιδρούν, να διατηρούν πληροφορίες και να διατηρούν σταθερές προσωπικότητες.
Ενώ τα πρότυπα παίζουν έναν ζωτικό ρόλο στην προώθηση των προγραμματιστών τεχνητής νοημοσύνης στην καινοτομία, πρέπει να συμπληρώνονται με εναλλακτικές μεθόδους αξιολόγησης. Αναγνωρίζοντας τις ατέλειές τους, οι ερευνητές προσπαθούν για μια κατανοητική κατανόηση των ικανοτήτων και των περιορισμών των μοντέλων τεχνητής νοημοσύνης. Με τη υιοθέτηση νέων μεθοδολογιών αξιολόγησης και την εξέταση πραγματικών περιπτώσεων χρήσης, οι ερευνητές και οι προγραμματιστές μπορούν να συνεχίσουν να προωθούν τα όρια της απόδοσης της τεχνητής νοημοσύνης.
The source of the article is from the blog agogs.sk