Umělá inteligence (AI) se stává stále významnější součástí našeho života, ale rizika účelového nasměrování a manipulace AI systémů stále představují významné výzvy. Americký Úřad pro standardy a technologii (NIST) nedávno vydal upozorňující zprávu, která zdůrazňuje absenci neprodyšných metod pro ochranu AI systémů před takovými útoky. Toto varování slouží jako výzva pro vývojáře a uživatele AI, aby si byli vědomi toho, že nemohou slibovat zaručené obranné strategie.
Zpráva NIST s názvem „Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations“ přináší pohled na zranitelnosti přítomné v prediktivních a generativních AI systémech. Zpráva nám nejen poskytuje cenné informace o potenciálních útocích na AI, ale také nabízí přístupy ke snížení škod způsobených těmito útoky.
Jedním z důležitých problémů, který zpráva řeší, se týká důvěryhodnosti trénovacích dat. Jelikož AI systémy spoléhají na rozsáhlá datová soubory, vzniká možnost, že budou tyto soubory poškozeny zásahem zlomyslných aktérů. Tito protivníci mohou záměrně matou nebo znehodnotit AI systémy, což vede k nežádoucím výsledkům. Například, pokud jsou obejitá jejich opatření, mohou chatboti začít reagovat s urážlivým nebo rasistickým jazykem.
Zpráva identifikuje různé druhy útoků, kterým mohou AI systémy čelit, včetně úniku, znečištění, porušování soukromí a zneužívání. Únikové útoky si klady za cíl změnit vstupy, které klamou AI systémy, zatímco útoky znečištění zahrnují zavedení poškozených dat během trénování. Útoky na soukromí se zaměřují na získání citlivých informací o AI systémech a útoky zneužití zahrnují podávání nesprávných informací do legitimních zdrojů, které AI systémy využívají.
Zpráva doporučuje, aby se mitigace zaměřovala na čištění dat a modelů, stejně jako na kryptografické techniky, které zajistí původ a integritu AI systémů. Kritickou součástí je také předběžné otestování, včetně tzv. red teaming, které pomáhá identifikovat zranitelnosti. Avšak zpráva uznává, že navrhování účinných mitigací je obtížné kvůli nedostatku spolehlivých standardů a bezpečných algoritmů strojového učení.
Zpráva také zdůrazňuje, že organizace musí zvážit kompromisy mezi požadovanými vlastnostmi AI systémů, jako je přesnost a odolnost vůči útokům. Prioritizace těchto vlastností může být různá v závislosti na kontextu a důsledcích AI technologie.
Závěrem, ochrana AI systémů před nasměrováním zůstává složitým a dosud nerozřešeným úkolem. I když zpráva NIST poskytuje komplexní pohled na zranitelnosti a potenciální útoky na AI systémy, zdůrazňuje nutnost dalšího výzkumu a vývoje odolných obranných strategií proti útokům. Vývojáři a uživatelé AI musí zůstat ostražití a aktivně se zapojovat do neustálého snažení o důvěryhodné AI systémy.
The source of the article is from the blog aovotice.cz