Η ομάδα έρευνας της Microsoft πρόσφατα αποκάλυψε το Phi-3, ένα νέο και συμπαγές μοντέλο μάθησης γλώσσας (LLM) που είναι αρκετά μικρό ώστε να αποθηκευτεί τοπικά σε ένα smartphone. Ένα πρόσφατα δημοσιευμένο ερευνητικό άρθρο από τους προγραμματιστές πίσω από το Phi-3 αποκάλυψε ότι το LLM εκπαιδεύτηκε χρησιμοποιώντας ένα μείγμα πραγματικών και συνθετικών (AI-δημιουργημένων) δεδομένων.
Οι προγραμματιστές δήλωσαν ότι με τη συνδυασμένη χρήση φιλτραρισμένων δεδομένων από τον ιστό και συνθετικών δεδομένων, μπορούσαν να επιτύχουν επιδόσεις σε μικρότερα μοντέλα γλώσσας που πριν ήταν αποκλειστικότητα πολύ μεγαλύτερων μοντέλων. Η νέα δημιουργία της Microsoft προκύπτει σε τρεις εκδόσεις: Μικρή, Μικρό και Μεσαία. Αυτές οι εκδοχές έχουν εκπαιδευτεί σε περισσότερα datasets από τον προκάτοχό τους, το Phi-2, αλλά υποστηρίζεται ότι αποδίδουν συναγωνιστικά με μεγαλύτερα μοντέλα όπως το Mixtral 8x7B της Mixtral και το GPT-3.5 της OpenAI.
Στις δοκιμές τους, οι ερευνητές της Microsoft κατόρθωσαν να εκτελέσουν το Phi-3 Μικρή σε ένα iPhone με επεξεργαστή Apple A16 Bionic. Κατάφεραν να καθοδηγήσουν με επιτυχία το μοντέλο να συνθέσει ποιήματα, να καταγράψει καθήκοντα προς εκτέλεση στο Χιούστον του Τέξας και να προτείνει τίτλους για ένα επιστημονικό άρθρο. Ωστόσο, κατά τη διάρκεια της ανάπτυξης του Phi-3 Μεσαίας, σημειώθηκε ότι οι δυνατότητές του δεν κλιμάκωναν αναλογικά με το μεγαλύτερο μοντέλο. Ως αποτέλεσμα, ενώ η έκδοση Mini κυκλοφορεί σε πλατφόρμες όπως τα Hugging Face, Azure και Ollama, οι εκδόσεις Μεσαία και Μικρή παραμένουν υπό βελτίωση.
Ο Έρικ Μπόιντ της Microsoft, Αντιπρόεδρος Επιχειρηματικής Ενότητας Azure AI, υπογράμμισε ότι το Phi-3 υπέστη εξειδικευμένη “πρόγραμμα” εκπαίδευσης δεδομένων. Αποκάλυψε ένα σενάριο όπου ένα LLM δημιούργησε “παιδικά βιβλία” για να διδάξει και να επεκτείνει το λεξιλόγιο του Phi, στην έλλειψη επαρκούς υπάρχουσας παιδικής λογοτεχνίας.
Η Microsoft θεωρεί το Phi-3 ως συνδυασμό των προκατόχων του, των Phi-1 και Phi-2. Αν και το Phi-3 μπορεί να μην έχει μία τόσο εκτεταμένη βάση γνώσης όσο τα μοντέλα όπως το GPT-4, έχει αποδειχθεί ικανό στη συγγραφή κώδικα, σε δημιουργικές κατασκευές και στο να απαντά σε πληροφοριακές ερωτήσεις. Οι νομικές ανησυχίες που περιβάλλουν την εκπαίδευση των LLM σε υφιστάμενα ή συνθετικά έργα αναφέρονται σε ζητήματα πνευματικής ιδιοκτησίας στις Ηνωμένες Πολιτείες, τα οποία αποτελούν αντικείμενο ενός εξελισσόμενου νομικού διαλόγου, όπως αποδεικνύουν πρόσφατες αγωγές και προτεινόμενη νομοθεσία.
The source of the article is from the blog reporterosdelsur.com.mx