Alors que la technologie de l’IA générative a progressé rapidement ces dernières années, Richard Socher, ancien cadre de Salesforce, estime qu’il reste encore de la place pour l’amélioration. Dans un podcast de la Harvard Business Review, Socher a discuté de la façon dont nous pouvons améliorer les grands modèles de langage en les poussant à répondre à des instructions de code plutôt qu’à seulement prédire le jeton suivant.
Actuellement, les grands modèles de langage se basent sur la prédiction du jeton suivant en se basant sur des données antérieures. Bien que ces modèles démontrent une compréhension impressionnante de la lecture et des compétences en codage, ils souffrent souvent d’hallucinations, produisant ainsi des erreurs factuelles comme si elles étaient vraies. Cela devient particulièrement problématique lorsqu’ils sont confrontés à des questions mathématiques complexes.
Socher a donné l’exemple d’une question à laquelle un grand modèle de langage pourrait avoir du mal à répondre : « Si je donnais à un bébé 5 000 dollars à la naissance pour investir dans un fonds indiciel sans frais, et en supposant un certain pourcentage de rendement annuel moyen, combien auront-ils à l’âge de deux à cinq ans ? » Au lieu de prendre soigneusement en compte la question et d’effectuer les calculs nécessaires, le modèle générerait du texte basé sur des questions similaires auxquelles il avait été confronté par le passé.
Pour surmonter cette limitation, Socher propose de « forcer » le modèle à traduire la question en code informatique et à générer une réponse basée sur ce code. En procédant ainsi, le modèle est plus susceptible de fournir une réponse précise. Socher a mentionné que sur son moteur de recherche alimenté par l’IA, You.com, ils ont pu traduire des questions en code Python.
Contrairement à l’approche courante qui consiste simplement à augmenter les données et la puissance de calcul, Socher suggère que la programmation jouera un rôle crucial dans l’avancement des grands modèles de langage. En enseignant à ces modèles à coder, ils acquièrent une compréhension plus approfondie et des capacités de résolution de problèmes plus polyvalentes. Cette approche de programmation leur permettra de relever des tâches plus complexes à l’avenir.
Alors que la compétition entre les grands modèles de langage s’intensifie, avec GPT-4 d’OpenAI et Gemini de Google qui rivalisent pour la suprématie, la perspective de Socher offre un angle nouveau sur le renforcement des capacités de l’IA. Plutôt que de se fier uniquement à l’augmentation des données, le fait de forcer les modèles d’IA à coder pourrait libérer leur plein potentiel et conduire à d’importantes avancées dans le domaine.
Questions fréquemment posées (FAQ) sur l’amélioration des grands modèles de langage par le codage
Q : Quel est le défi actuel avec les grands modèles de langage ?
R : Les grands modèles de langage actuels ont des limitations dans la production de réponses précises face à des questions complexes, en particulier celles nécessitant des calculs mathématiques. Ils souffrent souvent d’hallucinations, générant ainsi des erreurs factuelles comme si elles étaient vraies.
Q : Quelle est la solution proposée pour surmonter ces limitations ?
R : Richard Socher propose de « forcer » les grands modèles de langage à traduire les questions en code informatique et à générer des réponses basées sur ce code. En procédant ainsi, les modèles sont plus susceptibles de fournir des réponses précises.
Q : Comment la traduction des questions en code améliore-t-elle les modèles ?
R : La traduction des questions en code permet aux modèles de mieux comprendre les questions et de réaliser les calculs nécessaires. Cette approche améliore leurs capacités de résolution de problèmes et augmente la probabilité de réponses précises.
Q : Cette approche a-t-elle été implémentée dans un moteur de recherche alimenté par l’IA ?
R : Oui, sur You.com, un moteur de recherche alimenté par l’IA, ils ont réussi à traduire des questions en code Python pour améliorer la précision des réponses.
Q : Comment cette approche de codage diffère-t-elle de l’approche traditionnelle qui consiste à augmenter les données et la puissance de calcul ?
R : Socher suggère que l’enseignement aux grands modèles de langage de la programmation sera crucial pour faire avancer leurs capacités, plutôt que de se fier uniquement à l’augmentation des données. En programmant les modèles, ils acquièrent une compréhension plus approfondie et des capacités de résolution de problèmes plus polyvalentes pour aborder des tâches complexes à l’avenir.
Q : En quoi la perspective de Socher se démarque-t-elle dans la compétition entre les grands modèles de langage ?
R : La perspective de Socher introduit un nouvel angle sur l’amélioration des capacités de l’IA. Au lieu de se fier uniquement à l’augmentation des données, le fait de forcer les modèles d’IA à coder pourrait libérer leur plein potentiel et conduire à d’importantes avancées dans le domaine.
Termes clés / Jargon :
– Technologie d’IA générative : Fait référence aux modèles d’IA capables de produire du contenu original en générant de nouvelles données basées sur des motifs et des exemples de données existantes.
– Modèles de langage : Modèles d’IA spécifiquement conçus pour générer et comprendre le langage humain.
– Hallucinations : Dans le contexte des modèles de langage de l’IA, fait référence à la production d’erreurs factuelles comme si elles étaient vraies.
– Jeton : Dans les modèles de langage, un jeton fait référence à un segment de texte, généralement un mot ou un caractère.
– Code Python : Langage de programmation utilisé par Socher comme exemple de traduction de code pour améliorer les grands modèles de langage.
Liens suggérés connexes :
OpenAI – site officiel d’OpenAI, connu pour ses grands modèles de langage comme GPT-4.
Google – site officiel de Google, la société derrière les grands modèles de langage comme Gemini.
The source of the article is from the blog elektrischnederland.nl