Důležitost zabezpečení v oblasti umělé inteligence (AI) je neustále stoupajícím tématem vzhledem k postupnému pokroku v tomto odvětví. Vývojáři a datoví vědci se snaží porozumět, budovat a implementovat produkty z oblasti AI. Avšak je zásadní nezapomínat na aspekt bezpečnosti, zejména je nutné chránit se proti dodavatelským útokům.
Projekty v oblasti umělé inteligence často zahrnují využití různých modelů, knihoven, algoritmů, předpřipravených nástrojů a balíčků. Tyto zdroje nabízejí obrovské možnosti pro experimentování a inovace, ale zároveň představují potenciální bezpečnostní rizika. Komponenty kódu získané z veřejných repozitářů mohou obsahovat skryté zadní vrátka nebo exfiltrátory dat. Navíc předpřipravené modely a datasety mohou být kontaminovány, což vede k neočekávanému a nevhodnému chování aplikací.
Jednou z alarmujících možností je, že některé AI modely samy mohou obsahovat malware, který může být spuštěn, pokud nejsou obsah těchto modelů bezpečně deserializován. Dokonce i populární pluginy jako ChatGPT byly pod drobnohledem ohledně své bezpečnosti. Dodavatelské útoky, které sužují svět softwarového vývoje, se stávají hrozbou i v oblasti umělé inteligence. Začlenění kompromitovaných knihoven, modelů nebo datasetů do systémů AI může mít závažné následky, jako jsou napadení pracovních stanic, intruze do firemních sítí, špatné klasifikace dat a možné škody na uživatelích.
Průsečík AI a Bezpečnosti
S rozpoznáním potřeby řešit tyto zranitelnosti vznikají startupy v oblasti kybernetické bezpečnosti a umělé inteligence, které se zaměřují především na boj s bezpečnostními výzvami ve vývoji AI. Nicméně nejde pouze o startupy; i etablovaní hráči v oboru si všímají a pracují na implementaci bezpečnostních opatření. Auditování a kontrola projektů strojového učení z hlediska bezpečnosti, hodnocení jejich bezpečnosti a provádění nezbytných testů jsou již považovány za zásadní součásti vývojového procesu.
Podle Toma Bonnera, VP výzkumu ve společnosti HiddenLayer, startupu zaměřeném na AI, mnoho projektů v oblasti AI postrádá řádná bezpečnostní opatření. Historicky vznikaly projekty na poli AI jako výzkumné projekty nebo malé iniciativy v softwarovém vývoji, často chybějící robustní bezpečnostní rámec. Vývojáři a výzkumníci mají tendenci zaměřovat se na řešení matematických problémů a nasazování výsledků bez řádného testování bezpečnosti nebo posouzení.
Bonner dále zdůrazňuje naléhavost řešení bezpečnostních zranitelností v systémech AI: „Z ničeho nic se umělá inteligence a strojové učení skutečně rozběhly a všichni se do nich snaží zapojit. Všichni si berou všechny běžné softwarové balíčky, které vznikly v akademickém prostředí, a zjistí, že jsou plné zranitelností, plné děr.“
Zranitelnosti v AI dodavatelském řetězci
Podobně jako dodavatelský řetězec softwaru se i AI dodavatelský řetězec stává cílem zločinců, kteří se snaží zneužít zranitelností. Taktiky jako typosquatting jsou využívány k tomu, aby zmatli vývojáře a přinutili je používat zákeřné kopie legitimních knihoven. V důsledku toho může dojít ke krádeži citlivých dat a firemních přístupových údajů, ke zneužití serverů s běžícím kompromitovaným kódem a dalším nebezpečím.
Dan McInerney, hlavní výzkumník v oblasti bezpečnosti AI ve společnosti Protect AI, zdůrazňuje důležitost zabezpečení dodavatelského řetězce použitého při vývoji AI modelů: „Pokud si představíte koláčový graf toho, jak budete napadeni poté, co založíte oddělení AI ve vaší firmě nebo organizaci, pouze malý zlomek toho koláče bude útokům na vstupy do modelu, o kterých všichni mluví. A obrovská část bude útoky na dodavatelský řetězec – na nástroje, které samotné používáte k vytváření modelu.“
Potřeba bdělosti a ochrany
Aby ilustrovali možné nebezpečí, HiddenLayer nedávno identifikoval bezpečnostní obavu v online službě poskytované společností Hugging Face, přední platformou pro AI modely. Problém spočíval v převodu nestabilních modelů ve formátu Pickle do bezpečnějšího formátu Safetensors. HiddenLayer zjistil, že chyby při převodu umožnily libovolné spuštění kódu, potenciálně ohrožujíc uživatelská data a repozitáře.
Pro vývojáře a organizace je zásadní uznat klíčovou roli bezpečnosti a dávat přednost opatřením k zabezpečení svých projektů z oblasti AI. Uplatňování obrany dodavatelského řetězce softwaru ve vývoji systémů strojového učení je nezbytné pro zajištění integrity a ochrany aplikací AI.
Často kladené dotazy (FAQ)
The source of the article is from the blog macholevante.com