Skupina výzkumníků z University of Chicago představila Nightshade 1.0, pokročilý nástroj pro útočné otrávení dat, který byl vytvořen k boji proti neoprávněnému používání modelů strojového učení. Tento nástroj spolupracuje s obranným nástrojem Glaze, který již dříve pokryl server The Register.
Nightshade je speciálně navržen pro cílení na obrazové soubory a má za cíl donutit modely strojového učení, aby respektovaly práva tvůrců obsahu. Nightshade otrávuje obrazová data, čímž způsobuje problémy modelům, které zpracovávají neoprávněný obsah. Nástroj minimalizuje viditelné změny původního obrázku lidským okem, zatímco matou modely umělé inteligence. Například, zatímco lidé mohou vidět obrázek jako zastíněný obrázek krávy na zeleném poli, model umělé inteligence ho může interpretovat jako kabelku ležící na trávníku.
Tým za Nightshade zahrnuje doktorandy z University of Chicago Shawna Shana, Wenxina Dinga a Josephine Passanantiho a profesory Heather Zheng a Bena Zhaa. Podrobnosti o Nightshade popisují ve výzkumném článku publikovaném v říjnu 2023. Technika použitá v Nightshade je útok záměrného otrávení promptu, kdy jsou obrázky záměrně upravovány tak, aby rozmazaly hranice jejich skutečných štítků během trénování modelů.
Zavedení Nightshade je reakcí na rostoucí obavy ohledně neoprávněného sběru dat, který vedl k několika právním sporům mezi tvůrci obsahu a firmami z oblasti umělé inteligence. Výzkumníci tvrdí, že Nightshade může sloužit jako mocný nástroj pro ochranu duševního vlastnictví obsahu majitelů, kteří ignorují autorská práva a jiné formy povolení.
Je důležité poznamenat, že Nightshade má určité omezení. Software může vést k jemným rozdílům oproti původnímu obrázku, zejména u uměleckých děl s plochými barvami a hladkým pozadím. V budoucnu mohou být vyvinuty metody pro protiútok na Nightshade, ale výzkumníci věří, že jsou schopni svůj software přizpůsobit.
Tým navrhuje, aby umělci používali také Glaze ve spojení s Nightshade, aby chránili své vizuální styly. Zatímco Nightshade se zaměřuje na obrazová data, Glaze upravuje obrázky, aby modely nemohly napodobovat umělcův vizuální styl. Tím, že chrání jak obsah, tak styl své práce, mohou umělci udržovat svou značku a odrazovat neoprávněné reprodukce svého uměleckého projevu.
I když Nightshade a Glaze v současné době vyžadují samostatná stahování a instalace, tým pracuje na vytvoření kombinované verze, která usnadní proces tvůrcům obsahu.
Nightshade FAQ:
Otázka: Co je Nightshade 1.0?
Odpověď: Nightshade 1.0 je nástroj pro útočné otrávení dat vyvinutý výzkumníky z University of Chicago k boji proti neoprávněnému používání modelů strojového učení.
Otázka: Jaký je účel Nightshade?
Odpověď: Nightshade je navržen tak, aby donutil modely strojového učení respektovat práva tvůrců obsahu tím, že otrávuje obrazová data a způsobuje problémy modelům, které zpracovávají neoprávněný obsah.
Otázka: Jak Nightshade funguje?
Odpověď: Nightshade minimalizuje viditelné změny původního obrázku, zatímco matou modely umělé inteligence. Upravuje obrazová data tak, že se člověk může domnívat, že vidí jeden objekt, zatímco modely umělé inteligence ho interpretují jinak.
Otázka: Kdo vyvinul Nightshade?
Odpověď: Tým za Nightshade zahrnuje doktorandy Shawn Shana, Wenxina Dinga a Josephine Passanantiho a profesory Heather Zheng a Bena Zhaa z University of Chicago.
Otázka: Existuje výzkumný článek o Nightshade?
Odpověď: Ano, výzkumníci publikovali výzkumný článek, ve kterém podrobně popisují Nightshade, v říjnu 2023.
Otázka: Co je promptně specifický útok otrávení?
Odpověď: Nightshade využívá techniku promptně specifického útoku otrávení, při které jsou obrázky záměrně upravovány během trénování modelů tak, aby rozmazaly hranice jejich skutečných štítků.
Otázka: Jaký problém má Nightshade za cíl vyřešit?
Odpověď: Nightshade byl vyvinut jako reakce na obavy ohledně neoprávněného sběru dat, který vedl k právním sporům mezi tvůrci obsahu a firmami z oblasti umělé inteligence.
Otázka: Jaká jsou omezení Nightshade?
Odpověď: Nightshade může vést k jemným rozdílům oproti původnímu obrázku, zejména u uměleckých děl s plochými barvami a hladkým pozadím. V budoucnosti mohou být vyvinuty metody, které Nightshade překonají.
Otázka: Co je Glaze?
Odpověď: Glaze je obranný nástroj, který spolupracuje s Nightshade. Upravuje obrázky tak, aby modely nemohly napodobovat vizuální styl umělce.
Otázka: Jak mohou umělci chránit svou práci pomocí Nightshade a Glaze?
Odpověď: Používáním Nightshade a Glaze společně mohou umělci chránit jak obsah, tak styl své práce, udržovat si svou značku a odrazovat neoprávněné reprodukce.
Definice:
1. Modely strojového učení: Algoritmy a statistické modely, které umožňují počítačům učit se a provádět předpovědi nebo rozhodování bez explicitního programování.
2. Otrávení dat: Technika, při které zločinci manipulují s daty, aby přivedli modely strojového učení k poskytování nesprávných výsledků.
3. Tvůrci obsahu: Jednotlivci nebo subjekty, které vytvářejí originální díla, jako je umění, literatura, hudba atd.
4. Autorská práva: Prohlášení o vlastnictví a právech určitého díla a varování před neoprávněným použitím nebo reprodukcí.
Navrhované související odkazy:
1. Univerzitní zprávy z University of Chicago
2. The Register
The source of the article is from the blog macnifico.pt