En grupp forskare från University of Chicago har lanserat Nightshade 1.0, ett toppmodernt verktyg för förgiftning av data, skapat för att bekämpa obehörig användning av maskininlärningsmodeller. Detta verktyg fungerar tillsammans med Glaze, ett defensivt skydd som tidigare har omtalats av The Register.
Nightshade är specifikt utformat för att rikta in sig på bildfiler och syftar till att tvinga maskininlärningsmodeller att respektera innehållsskaparnas rättigheter. Genom att förgifta bilddata skapar Nightshade störningar för modeller som tar in obehörigt innehåll. Verktyget minimerar synliga förändringar av originalbilden för människoögat samtidigt som det förvirrar AI-modeller. Till exempel kan en bild för människor se ut som en skuggad bild av en ko på ett grönt fält, men en AI-modell kan tolka det som en handväska som ligger i gräset.
Teamet bakom Nightshade består av doktoranderna Shawn Shan, Wenxin Ding och Josephine Passananti från University of Chicago, samt professorerna Heather Zheng och Ben Zhao. De har beskrivit detaljerna om Nightshade i en forskningsartikel som publicerades i oktober 2023. Tekniken som används i Nightshade är en förgiftningattack som är specifik för uppmaningar, där bilder medvetet manipuleras för att sudda ut gränserna för deras sanna etiketter under modellträning.
Införandet av Nightshade är ett svar på den ökande försämringen av obehörig inhämtning av data, vilket har lett till flera rättsliga strider mellan innehållsskapare och AI-företag. Forskarna hävdar att Nightshade kan fungera som ett kraftfullt verktyg för innehavare av innehåll att skydda sin immateriella egendom mot modelltränare som inte respekterar upphovsrättsmeddelanden och andra former av tillstånd.
Det är viktigt att notera att Nightshade har sina begränsningar. Programvaran kan resultera i små skillnader från originalbilden, särskilt för konstverk med platta färger och släta bakgrunder. Dessutom kan metoder för att motverka Nightshade utvecklas i framtiden, men forskarna tror att de kan anpassa sin programvara därefter.
Teamet föreslår att konstnärer även använder Glaze i kombination med Nightshade för att skydda sin visuella stil. Medan Nightshade fokuserar på bilddata ändrar Glaze bilder för att förhindra att modeller replikerar en konstnärs visuella stil. Genom att skydda både innehållet och stilen i sitt arbete kan konstnärer behålla sitt varumärkes rykte och motverka obehörig reproduktion av sin konstnärliga identitet.
Även om Nightshade och Glaze för närvarande kräver separata nedladdningar och installationer, arbetar teamet med att utveckla en kombinerad version för att förenkla processen för innehållsskapare.
Nightshade FAQ:
The source of the article is from the blog toumai.es