Μια κομβική ανακάλυψη στο πεδίο της έρευνας για την μηχανική μάθηση έχει δώσει την έναρξη στον αλγόριθμο των παγκόσμιων νευρωνικών λειτουργικών (UNFs). Αναπτύχθηκε από μια κοινή ομάδα από την Google DeepMind και το Πανεπιστήμιο του Στάνφορντ, αυτός ο επαναστατικός αλγόριθμος προσφέρει μια καινοτόμο λύση στις προκλήσεις που παρουσιάζουν οι χαρακτηριστικά του χώρου βάρους στα νευρωνικά δίκτυα.
Το κύριο αρχέτυπο πίσω από τους UNFs είναι η διατήρηση της ισομορφίας κατά τη σύνθεση, το οποίο επιτρέπει την κατασκευή βαθιών μοντέλων ισομορφίας. Χρησιμοποιώντας απλές πράξεις πίνακα και το σύνδεση πολλαπλών στρωμάτων με μη γραμμικότητες στο σημείο, οι UNFs αυτόματα δημιουργούν ισομορφικές απεικονίσεις που συμμορφώνονται με την παραλλαγή για οποιεσδήποτε τανάληπτες τάξεις τουνομένων. Αυτό ανοίγει το δρόμο για τη δημιουργία βαθιών, ισομορφικών μοντέλων που επιδέχονται επεξεργασίας βαρών.
Εκτός από τα ισομορφικά μοντέλα, οι UNFs επιτρέπουν επίσης την κατασκευή αναλλοίωτων μοντέλων. Συνδυάζοντας ισομορφικά στρώματα με μια αναλλοίωτη λειτουργία “pooling”, αυτά τα μοντέλα μπορούν να είναι ανθεκτικά σε διάφορες παραλλαγές. Μαζί, αυτές οι προηγμένες λύσεις διευρύνουν το πεδίο εφαρμογών για την μοντελοποίηση του χώρου βαρών στην μηχανική μάθηση.
Οι ερευνητές δοκίμασαν τους UNFs μέσω εμπειρικών αξιολογήσεων, συγκρίνοντας την απόδοσή τους με τις υπάρχουσες μεθόδους σε εργασίες χώρου βαρών. Τα αποτελέσματα ήταν εντυπωσιακά, με τους UNFs να υπερβαίνουν τις προηγούμενες προσεγγίσεις σε εργασίες που περιλάμβαναν την χειραγώγηση των βαρών και των κλιμακομένων σε πεδία όπως οι ταξινομητές εικόνας, τα μοντέλα από ακολουθίες σε ακολουθίες και τα γλωσσολογικά μοντέλα.
Αυτός ο ανατρεπτικός αλγόριθμος αποτελεί ένα σημαντικό βήμα μπροστά στη μοντελοποίηση του χώρου βαρών. Η ικανότητά του να κατασκευάζει αυτόματα ισομορφικά μοντέλα ανοίγει νέες πιθανότητες για την αντιμετώπιση των συμμετριών παραλλαγής στις αρχιτεκτονικές νευρωνικών δικτύων. Την ποτενσιαλι
The source of the article is from the blog kunsthuisoaleer.nl