Des chercheurs de l’Université Cornell aux États-Unis ont dévoilé un prototype de malware révolutionnaire ayant le potentiel de se propager de manière autonome entre divers systèmes d’intelligence artificielle (IA). Surnommé Morris II, ce prototype de malware fonctionne de manière similaire à un ver informatique, se propageant indépendamment à travers les réseaux, comme rapporté par le magazine Wired.
La genèse de cette menace est liée à la tendance croissante des entreprises à développer des assistants IA personnalisés. Selon les chercheurs de la branche Cornell Tech de l’université, à mesure que les systèmes IA gagnent en autonomie, ils deviennent également plus vulnérables aux cyberattaques.
La fonctionnalité du malware tourne autour de la manipulation de l’IA générative par le biais de sollicitations utilisateur. Alors que les sollicitations sont une méthode standard pour guider les opérations des IA, elles exposent également des vulnérabilités pouvant être exploitées. Les scientifiques ont initialement construit un système de messagerie opérant sur une IA générative, connecté à divers services incluant ChatGPT d’OpenAI, Gemini de Google et un modèle linguistique open source appelé Llava.
Imitant de potentiels attaquants, les chercheurs ont rédigé un email contenant une sollicitation maligne, qui a par la suite empoisonné la base de données de l’assistant email alimenté par IA. Cette base de données était essentielle pour le raffinement des réponses via la technologie dite de ‘génération augmentée par récupération’. L’email a percé les mesures de sécurité du service IA et a approprié des données. Une fois intégré dans la base de données de l’organisation destinataire, il a infecté de nouveaux systèmes.
Dans un autre scénario élaboré par les chercheurs, une sollicitation auto-réplicante intégrée dans une image a contraint l’assistant email à propager le message, potentiellement intensifiant les campagnes de spams non sollicitées.
Les chercheurs ont informé OpenAI et Google de leur découverte, exhortant les développeurs à rester vigilants face à ces menaces émergentes. Le terme ‘Morris II’ pour les prototypes de ver trouve son inspiration dans le ver original Morris, qui a perturbé de manière notoire les opérations internet en 1998.
Alors que l’article offre un aperçu de l’émergence d’un prototype de malware capable de se propager à travers les systèmes IA, il ne discute pas de certains faits et considérations pertinents qui sont importants pour cette menace émergente. Voici quelques points d’intérêt supplémentaires :
L’intégration entre les systèmes d’IA accroît le risque : De nombreux systèmes d’IA sont conçus pour être interopérables, permettant une interaction fluide et un échange de données entre les plateformes. Bien que cette interopérabilité puisse améliorer l’efficacité et l’expérience utilisateur, elle augmente également le potentiel pour que le malware se déplace plus facilement entre différents systèmes et plateformes.
Les modèles d’apprentissage automatique peuvent être manipulés : Les systèmes d’IA, en particulier ceux impliquant l’apprentissage automatique, peuvent être sensibles aux attaques adverses où les données d’entrée sont spécifiquement conçues pour manipuler le comportement de l’IA. Cela peut aller de manipulations subtiles affectant la prise de décision de l’IA à des attaques plus directes introduisant des malwares.
Le malware IA peut fonctionner différemment : Contrairement aux malwares traditionnels qui pourraient nécessiter une action de l’utilisateur pour se propager, le malware IA pourrait potentiellement se propager sans interaction utilisateur en exploitant les faiblesses de la logique de l’IA ou des données d’entraînement.
Les mesures défensives doivent évoluer : Alors que les menaces évoluent pour exploiter les systèmes IA, les mesures de cybersécurité doivent également s’adapter. Cela pourrait impliquer le développement d’IA capable d’identifier et de répondre aux menaces de manière autonome ou l’établissement de nouveaux protocoles pour l’entraînement sécurisé des modèles d’IA.
Défis réglementaires : L’utilisation de systèmes IA s’étend à travers différentes juridictions, soulevant des défis réglementaires complexes. Garantir une stratégie cohérente pour prévenir et atténuer la propagation du malware IA nécessitera une coopération internationale.
Préoccupations en matière de confidentialité : L’utilisation de l’IA générative en communication suscite des préoccupations en matière de confidentialité et de protection des données. Les malwares ciblant les systèmes IA pourraient également compromettre des données personnelles ou d’entreprise sensibles.
Des questions clés, des défis et des controverses pourraient inclure :
– Comment garantir que les systèmes IA soient sécurisés par conception pour minimiser la vulnérabilité à de telles attaques ?
Une sécurité efficace pour les systèmes IA impliquera probablement des tests rigoureux et la validation du comportement de l’IA dans des scénarios de menace potentiels et la surveillance continue des activités inattendues.
– Quel sera l’impact du malware IA sur la confiance des utilisateurs dans les systèmes IA ?
Toute attaque de malware mine la confiance, mais les attaques sur les systèmes IA peuvent être particulièrement insidieuses en raison de leur potentiel à manipuler l’information de manière subtile, sapant ainsi la confiance dans la prise de décision basée sur l’IA.
– Comment la communauté internationale devrait-elle répondre à la menace du malware IA ?
Un cadre international de coopération en matière de sécurité de l’IA pourrait faciliter de meilleures mécanismes de défense, le partage d’informations et une réponse coordonnée aux menaces.
Les avantages et inconvénients de l’émergence de tels malwares incluent :
Avantages :
– La découverte de prototype de malwares comme Morris II incite au développement précoce de mesures de protection contre les menaces cybernétiques ciblant l’IA.
– La recherche sur les vulnerabilités de l’IA peut conduire à des systèmes IA plus robustes et résilients.
Inconvénients :
– Il y a un risque d’une nouvelle course aux armements entre les attaquants développant des malwares IA sophistiqués et les défenseurs essayant de protéger les systèmes IA.
– Une perturbation généralisée pourrait survenir si le malware IA pénètre avec succès dans des systèmes critiques.
– La confiance dans les applications IA pourrait être considérablement endommagée si elles sont perçues comme peu sûres.
Pour plus d’informations sur ces sujets et d’autres sujets liés à l’intelligence artificielle et à la cybersécurité, les intéressés peuvent visiter le domaine principal des principales organisations et institutions comme :
– OpenAI
– Wired
– Université Cornell
– Google
N’oubliez pas d’explorer les sources primaires pour obtenir des informations fiables et à jour.
The source of the article is from the blog elblog.pl