Des chercheurs du MIT et d’autres institutions ont récemment réalisé une découverte fascinante concernant les grands modèles linguistiques (LLMs). Ces modèles, également appelés modèles transformateurs, sont largement employés dans les applications d’intelligence artificielle, comme les chatbots IA tels que ChatGPT. La complexité de ces modèles leur permet de stocker et décoder de vastes quantités de connaissances en utilisant des fonctions linéaires étonnamment simples. Cette découverte éclaire le fonctionnement de ces modèles et ouvre des perspectives pour améliorer leur précision.
Les chercheurs ont mis au point une technique pour identifier les fonctions linéaires utilisées par les LLMs pour encoder et récupérer différents types de faits. En étudiant ces fonctions, ils ont acquis des informations sur les connaissances du modèle concernant divers sujets et sur l’emplacement de ces connaissances à l’intérieur du modèle. Un aspect fascinant qu’ils ont découvert est que même lorsque le modèle fournit une réponse incorrecte à une requête, il garde souvent l’information correcte dans son stockage. Cela suggère que ces fonctions simples pourraient potentiellement être utilisées pour repérer et corriger les inexactitudes au sein du modèle, réduisant ainsi la probabilité de réponses inexactes ou absurdes des chatbots IA.
Bien que tous les faits ne soient pas encodés et récupérés de la même manière de façon linéaire, la découverte de ces fonctions simples représente un outil précieux pour comprendre le fonctionnement interne des grands modèles linguistiques. Pour aider leurs recherches, l’équipe a également développé une technique de visualisation appelée « lentille attributaire ». Cet outil de visualisation cartographie l’emplacement des informations spécifiques sur les relations stockées dans les couches du modèle linguistique. La lentille attributaire aide les chercheurs et ingénieurs à mieux comprendre la structure des connaissances du modèle et à identifier et résoudre toute inexactitude éventuelle.
Pour approfondir, les chercheurs ont l’intention d’étudier de manière plus détaillée comment sont stockés les faits qui ne suivent pas de schémas linéaires. Ils prévoient également de réaliser des expériences avec de plus grands modèles linguistiques pour confirmer si ces fonctions simples s’appliquent à plus grande échelle. Ces recherches offrent un potentiel d’amélioration de notre compréhension des modèles linguistiques et de l’optimisation de leur performance dans divers domaines.
Questions Fréquemment Posées (FAQ)
The source of the article is from the blog macholevante.com