Un groupe de chercheurs de l’Université de Chicago a lancé Nightshade 1.0, un outil de falsification de données offensif de pointe créé pour lutter contre l’utilisation non autorisée de modèles d’apprentissage automatique. Cet outil fonctionne en conjonction avec Glaze, un outil de protection défensif déjà couvert par The Register.
Nightshade est spécifiquement conçu pour cibler les fichiers image et vise à contraindre les modèles d’apprentissage automatique à respecter les droits des créateurs de contenu. En falsifiant les données d’image, Nightshade crée des perturbations pour les modèles qui ingèrent du contenu non autorisé. L’outil minimise les changements visibles sur l’image originale pour l’œil humain tout en perturbant les modèles d’IA. Par exemple, une image peut apparaître comme une image ombragée d’une vache dans un champ vert pour les humains, mais un modèle d’IA peut l’interpréter comme un sac à main couché dans l’herbe.
L’équipe derrière Nightshade comprend les doctorants de l’Université de Chicago Shawn Shan, Wenxin Ding et Josephine Passananti, ainsi que les professeurs Heather Zheng et Ben Zhao. Ils ont exposé les détails de Nightshade dans un article de recherche publié en octobre 2023. La technique utilisée dans Nightshade est une attaque de falsification spécifique à la requête, où les images sont délibérément manipulées pour brouiller les frontières de leurs vraies étiquettes lors de l’entraînement du modèle.
L’introduction de Nightshade est une réponse aux préoccupations croissantes concernant la collecte non autorisée de données, qui a donné lieu à plusieurs batailles juridiques entre les créateurs de contenu et les entreprises d’IA. Les chercheurs font valoir que Nightshade peut servir d’outil puissant pour les propriétaires de contenu afin de protéger leur propriété intellectuelle contre les formateurs de modèles qui ignorent les avis de droits d’auteur et d’autres formes d’autorisations.
Il est important de noter que Nightshade présente des limites. Le logiciel peut entraîner des différences subtiles par rapport à l’image originale, en particulier pour les œuvres d’art avec des couleurs plates et des arrière-plans lisses. De plus, des méthodes pour contrer Nightshade peuvent être développées à l’avenir, mais les chercheurs estiment pouvoir adapter leur logiciel en conséquence.
L’équipe suggère également aux artistes d’utiliser Glaze en combinaison avec Nightshade pour protéger leurs styles visuels. Alors que Nightshade se concentre sur les données d’image, Glaze modifie les images pour empêcher les modèles de reproduire le style visuel d’un artiste. En protégeant à la fois le contenu et le style de leur travail, les artistes peuvent maintenir leur réputation de marque et décourager la reproduction non autorisée de leur identité artistique.
Bien que Nightshade et Glaze nécessitent actuellement des téléchargements et des installations séparées, l’équipe travaille sur le développement d’une version combinée pour simplifier le processus pour les créateurs de contenu.
Faits fréquemment demandés sur Nightshade :
Q : Qu’est-ce que Nightshade 1.0 ?
R : Nightshade 1.0 est un outil offensif de falsification de données développé par des chercheurs de l’Université de Chicago pour lutter contre l’utilisation non autorisée de modèles d’apprentissage automatique.
Q : Quel est l’objectif de Nightshade ?
R : Nightshade est conçu pour contraindre les modèles d’apprentissage automatique à respecter les droits des créateurs de contenu en falsifiant les données d’image et en créant des perturbations pour les modèles qui ingèrent du contenu non autorisé.
Q : Comment fonctionne Nightshade ?
R : Nightshade minimise les changements visibles sur l’image originale tout en perturbant les modèles d’IA. Il manipule les données d’image de manière à ce que les humains puissent la percevoir comme une chose, tandis que les modèles d’IA l’interprètent différemment.
Q : Qui a développé Nightshade ?
R : L’équipe derrière Nightshade comprend les doctorants Shawn Shan, Wenxin Ding et Josephine Passananti, ainsi que les professeurs Heather Zheng et Ben Zhao de l’Université de Chicago.
Q : Y a-t-il un article de recherche sur Nightshade ?
R : Oui, les chercheurs ont publié un article de recherche exposant les détails de Nightshade en octobre 2023.
Q : Qu’est-ce qu’une attaque de falsification spécifique à la requête ?
R : Nightshade utilise une technique d’attaque de falsification spécifique à la requête pour manipuler les images lors de l’entraînement du modèle, brouillant les frontières de leurs vraies étiquettes.
Q : Quel problème Nightshade vise-t-il à résoudre ?
R : Nightshade a été développé en réponse aux préoccupations concernant la collecte non autorisée de données, qui a donné lieu à des batailles juridiques entre les créateurs de contenu et les entreprises d’IA.
Q : Quelles sont les limites de Nightshade ?
R : Nightshade peut entraîner des différences subtiles par rapport à l’image originale, en particulier pour les œuvres d’art avec des couleurs plates et des arrière-plans lisses. Des méthodes futures pour contrer Nightshade peuvent également être développées.
Q : Qu’est-ce que Glaze ?
R : Glaze est un outil de protection défensif qui fonctionne en conjonction avec Nightshade. Il modifie les images pour empêcher les modèles de reproduire le style visuel d’un artiste.
Q : Comment les artistes peuvent-ils protéger leur travail avec Nightshade et Glaze ?
R : En utilisant Nightshade et Glaze ensemble, les artistes peuvent protéger à la fois le contenu et le style de leur travail, en maintenant leur réputation de marque et en décourageant la reproduction non autorisée.
Définitions :
1. Modèles d’apprentissage automatique : Des algorithmes et des modèles statistiques qui permettent aux ordinateurs d’apprendre et de faire des prédictions ou des décisions sans être programmés explicitement.
2. Falsification des données : Une technique où des acteurs malveillants manipulent les données pour induire en erreur les modèles d’apprentissage automatique et les amener à produire des résultats incorrects.
3. Créateurs de contenu : Des individus ou des entités qui produisent des œuvres originales d’art, de littérature, de musique, etc.
4. Avis de droits d’auteur : Des déclarations indiquant la propriété et les droits d’une œuvre particulière et avertissant contre toute utilisation ou reproduction non autorisée.
Liens connexes suggérés :
1. Actualités de l’Université de Chicago
2. The Register
The source of the article is from the blog publicsectortravel.org.uk