Les systèmes d’intelligence artificielle (IA) sont vulnérables à la manipulation par le biais de subterfuges visuels et de signaux trompeurs, faisant craindre les dangers potentiels qu’ils pourraient représenter. Le Pentagone a reconnu ces vulnérabilités et travaille activement à les résoudre à travers son programme de recherche appelé Garantir la Robustesse des IA contre la Tromperie (GARD). Depuis 2022, le GARD enquête sur les « attaques adverses » qui peuvent amener les systèmes IA à mal identifier des objets, ce qui pourrait avoir des conséquences désastreuses, notamment dans des contextes militaires.
L’une des découvertes clés de la recherche est la capacité de motifs en apparence inoffensifs à tromper les systèmes IA. Par exemple, un système IA pourrait confondre un bus plein de passagers avec un char si le bus est marqué d’un motif spécifique de « bruit visuel ». Cela souligne les dangers potentiels de se fier aux systèmes IA pour la prise de décision critique, surtout dans des scénarios où des vies sont en jeu.
Face aux inquiétudes croissantes du public concernant le développement par le Pentagone d’armes autonomes, le Département de la Défense a récemment mis à jour ses règles de développement IA afin de privilégier « un comportement responsable » et exige une approbation pour tous les systèmes IA déployés. Cependant, des groupes de défense soulèvent toujours des préoccupations quant à la possibilité de malinterprétation et d’escalades non intentionnelles par des armes alimentées par l’IA, indépendamment de toute manipulation délibérée. Ces inquiétudes sont particulièrement prononcées dans des régions tendues où des erreurs de calcul pourraient avoir des conséquences graves.
En réponse à ces préoccupations, le programme GARD a réalisé des progrès significatifs dans le développement de défenses contre les attaques adverses. Le nouveau Bureau du Numérique et de l’IA du Département de la Défense (CDAO) a même reçu des outils et des ressources du programme GARD pour aider à combattre ces vulnérabilités. Ces efforts témoignent de l’engagement du Pentagone à garantir le développement responsable de la technologie IA et de sa prise de conscience de l’urgence à traiter promptement ces vulnérabilités.
Pour soutenir davantage la recherche dans le domaine, les chercheurs du programme GARD issus de Two Six Technologies, IBM, MITRE, l’Université de Chicago et Google Research ont créé diverses ressources et matériaux. Celles-ci comprennent la plateforme virtuelle Armory, disponible sur GitHub, qui sert de « plateforme d’essai » complète pour les chercheurs afin de mener des évaluations de défenses adverses de manière reproductible, évolutive et robuste. La Boîte à Outils de Robustesse Adverse (ART) offre aux développeurs et aux chercheurs divers outils pour défendre et évaluer leurs modèles et applications d’apprentissage automatique contre différentes menaces adverses. De plus, le jeu de données Adversarial Patches Rearranged In COnText (APRICOT) permet la recherche reproductible sur l’efficacité en conditions réelles des attaques adverses physiques par patch sur les systèmes de détection d’objets. Le référentiel Google Research Self-Study contient également des « mannequins d’essai » représentant des idées ou des approches courantes pour la construction de défenses.
Alors que l’IA continue de jouer un rôle de plus en plus important dans de nombreux domaines, des applications militaires aux technologies quotidiennes, il est crucial de comprendre et de se protéger contre les vulnérabilités qui pourraient compromettre leur fiabilité. À travers une recherche solide, des pratiques de développement responsables et une collaboration continue entre l’industrie et le monde académique, nous pouvons œuvrer pour garantir que les systèmes IA soient dignes de confiance et résilients aux attaques adverses.
FAQ
Q: Qu’est-ce que les attaques adverses sur les systèmes IA ?
Les attaques adverses désignent des tentatives délibérées de manipuler les systèmes IA en utilisant des astuces visuelles ou des signaux trompeurs. En exploitant les vulnérabilités dans les algorithmes du système, ces attaques peuvent amener les systèmes IA à mal identifier des objets ou à prendre des décisions incorrectes.
Q: Pourquoi les attaques adverses sont-elles préoccupantes ?
Les attaques adverses posent une préoccupation majeure car elles peuvent potentiellement entraîner des conséquences désastreuses, notamment lorsque les systèmes IA sont déployés dans des contextes critiques tels que des opérations militaires. Confondre un objet ou mal interpréter des données peut avoir des répercussions graves, soulignant la nécessité de traiter ces vulnérabilités.
Q: Que fait le Pentagone pour traiter les vulnérabilités des systèmes IA ?
Le Pentagone a lancé le programme Garantir la Robustesse des IA contre la Tromperie (GARD) pour traiter les vulnérabilités des systèmes IA. À travers la recherche, la création de plateformes d’essai virtuelles et le développement d’outils et de ressources, le Pentagone vise à renforcer la résilience des systèmes IA face aux attaques adverses.
Q: Comment peut-on se défendre contre les attaques adverses ?
Les développeurs et les chercheurs peuvent utiliser des outils tels que la Boîte à Outils de Robustesse Adverse (ART) pour se défendre contre les attaques adverses. Ces outils fournissent des moyens d’évaluer et de renforcer les modèles et applications d’apprentissage automatique, garantissant leur robustesse face aux menaces potentielles.
Q: Quelles ressources sont disponibles pour les chercheurs dans ce domaine ?
Les chercheurs peuvent accéder à plusieurs ressources, dont la plateforme virtuelle Armory, la Boîte à Outils de Robustesse Adverse (ART) et le jeu de données Adversarial Patches Rearranged In COnText (APRICOT). Ces ressources facilitent les évaluations complètes, le développement de défenses et l’étude des attaques adverses physiques par patch sur les systèmes de détection d’objets.
Pour plus d’informations, vous pouvez visiter le site : exemple.com.