Μία καινοτόμος μελέτη που πραγματοποιήθηκε από το Πανεπιστήμιο Επιστήμης και Τεχνολογίας της Κίνας, το Κρατικό Κλειδί Εργαστήριο Έξυπνης Γνωστικής, το Πανεπιστήμιο του Χονγκ Κονγκ και το Κέντρο Έρευνας Jarvis εξετάζει μια νέα προσέγγιση για τη γεννητική εξαγωγή πληροφοριών (IE) χρησιμοποιώντας μεγάλα μοντέλα γλώσσας (LLMs). Αντί να βασίζεται σε παραδοσιακές μεθόδους δομημένης εξαγωγής γνώσης από μη δομημένο κείμενο, αυτή η νέα προσέγγιση χρησιμοποιεί LLMs για να δημιουργήσει δομημένες πληροφορίες, επιδεικνύοντας την πιθανότητά της σε πραγματικές εφαρμογές.
Οι ερευνητές χρησιμοποιούν δύο ταξινομίες για να κατατάξουν τις τρέχουσες αντιπροσωπευτικές μεθόδους στη γεννητική IE: η μία επικεντρώνεται στα μοντέλα μάθησης και η άλλη στα υποεργασία της IE. Χρησιμοποιώντας αυτές τις ταξινομίες, η μελέτη κατατάσσει τα LLMs για την IE βάσει της απόδοσής τους σε συγκεκριμένους τομείς. Η αξιολόγηση παρέχει επίσης εισαγωγή στους περιορισμούς και τις μελλοντικές δυνατότητες για τη χρήση LLMs στη γεννητική IE.
Η μελέτη παρουσιάζει τέσσερις στρατηγικές σκέψης για την αναγνώριση ονομαζόμενων οντοτήτων (NER) που αναπαράγουν τις ικανότητες του ChatGPT στην εξαγωγή NER χωρίς προηγούμενη εκπαίδευση. Ενώ τα LLMs δείχνουν υποσχόμενα αποτελέσματα στην αποσχιστική εξαγωγή (RE), απαιτείται περαιτέρω έρευνα για τη βελτίωση της απόδοσής τους σε εργασίες εξαγωγής γεγονότων (EE) λόγω της πολυπλοκότητας των οδηγιών και της έλλειψης ευελιξίας. Επιπλέον, η μελέτη αξιολογεί διάφορες υποεργασίες της IE, αποδεικνύοντας ότι τα LLMs εξαιρετικεύονται σε συγκεκριμένα περιβάλλοντα, όπως το OpenIE, ενώ εμφανίζουν χαμηλότερη απόδοση σε σύγκριση με τα μοντέλα βασισμένα στο BERT σε κανονικές ρυθμίσεις IE.
Ενώ οι προηγούμενες προσεγγίσεις για γεννητική IE επικεντρώνονταν σε συγκεκριμένους τομείς ή εργασίες, η ένταξη των LLMs ανοίγει την πόρτα για πιο ενοποιημένες τεχνικές. Ωστόσο, παραμένουν προκλήσεις, όπως η συνεκτίμηση εκτεταμένων πλαισίων εισόδου και δομημένης εξόδου. Οι ερευνητές συνιστούν περαιτέρω εξερεύνηση της μάθησης κατά το πλαίσιο στα LLMs, τονίζοντας τη σημασία της επιλογής παραδειγμάτων και την ανάπτυξη διαρκών πλαισίων IE που προσαρμόζονται σε διάφορους τομείς και δραστηριότητες.
Η μελέτη υπογραμμίζει επίσης τη σημασία της βελτίωσης των προτροπών για την ενίσχυση της κατανόησης και των ικανοτήτων συλλογισμού των LLMs. Αυτό περιλαμβάνει την ώθηση των LLMs να καταλήγουν σε λογικά συμπεράσματα και να δημιουργούν περιγράψιμα αποτελέσματα. Η διαδραστική σχεδίαση προτροπών, που συμπεριλαμβάνει πολυστρωματικές ερωταπαντήσεις, αποτελεί έναν άλλο τομέα διερεύνησης από ακαδημαϊκής πλευράς.
Συνολικά, αυτή η πρωτοποριακή μελέτη αποδεικνύει το δυναμικό της γεννητικής IE χρησιμοποιώντας LLMs, παρέχοντας πολύτιμες πληροφορίες για την απόδοσή τους, τους περιορισμούς και τις μελλοντικές κατευθύνσεις. Περαιτέρω προηγμένες εξελίξεις στη βασισμένη σε LLM IE μπορούν να συμβάλουν σημαντικά στον τομέα της επεξεργασίας φυσικής γλώσσας.
The source of the article is from the blog meltyfan.es