Une étude révolutionnaire menée par l’Université des Sciences et Technologies de Chine, le Laboratoire clé de l’intelligence cognitive, l’Université de la Ville de Hong Kong et le Centre de recherche Jarvis explore une approche novatrice pour l’extraction générative d’informations (IE) en utilisant de grands modèles de langage (LLMs). Au lieu de s’appuyer sur les méthodes traditionnelles d’extraction de connaissances structurées à partir de textes non structurés, cette nouvelle approche utilise les LLMs pour générer des informations structurées, démontrant ainsi son potentiel dans des applications réelles.
Les chercheurs utilisent deux taxonomies pour classer les méthodes représentatives actuelles en IE générative : l’une se concentre sur les paradigmes d’apprentissage et l’autre sur les sous-tâches de l’IE. À l’aide de ces taxonomies, l’étude classe les LLMs pour l’IE en fonction de leurs performances dans des domaines spécifiques. L’évaluation fournit également des informations sur les contraintes et les possibilités futures d’utilisation des LLMs dans l’IE générative.
L’étude présente quatre stratégies de raisonnement pour la reconnaissance des entités nommées (NER) qui reproduisent les capacités de ChatGPT en NER à zéro indication. Bien que les LLMs montrent des résultats prometteurs dans l’extraction de relations (RE), des recherches supplémentaires sont nécessaires pour améliorer leurs performances dans les tâches d’extraction d’événements (EE) en raison de la complexité des instructions et du manque de résilience. De plus, l’étude évalue différentes sous-tâches de l’IE, révélant que les LLMs excellent dans certains environnements, tels que OpenIE, tout en étant moins performants par rapport aux modèles basés sur BERT dans des configurations d’IE normales.
Alors que les approches précédentes en IE générative étaient spécialisées par domaine ou par tâche, l’intégration des LLMs ouvre la voie à des techniques plus unifiées. Cependant, des défis subsistent, tels que l’alignement de l’entrée contextuelle étendue et de la sortie structurée. Les chercheurs recommandent d’approfondir l’apprentissage en contexte des LLMs, en soulignant l’importance de la sélection des exemples et du développement de cadres universels d’IE adaptables à différents domaines et activités.
L’étude met également en évidence l’importance d’améliorer les indications pour renforcer la compréhension et le raisonnement des LLMs. Cela inclut le fait de pousser les LLMs à tirer des conclusions logiques et à générer des résultats explicables. La conception d’indications interactives, intégrant des configurations de questions-réponses à plusieurs tours, est une autre voie de recherche.
En résumé, cette étude pionnière démontre le potentiel de l’IE générative en utilisant des LLMs, offrant des informations précieuses sur leurs performances, leurs contraintes et leurs orientations futures. Des avancées supplémentaires dans l’IE basée sur les LLMs peuvent contribuer de manière significative au domaine du traitement du langage naturel.
The source of the article is from the blog rugbynews.at