Umelá inteligencia (AI) sa stala silným nástrojom v rôznych oblastiach, ale nedávne objavy naznačujú, že môže byť zneužitá na vývoj samo-rozširujúceho malvéru, ktorý obchádza tradičné detekčné metódy. Veľké jazykové modely (LLMs), používané v nástrojoch poháňaných AI, majú schopnosť manipulovať zdrojový kód malvéru a umožňujú mu obísť bezpečnostné systémy.
Správa od bezpečnostnej firmy Recorded Future poukazuje na potenciál generatívnej AI, ako sa môže vyhnúť pravidlám YARA, ktoré sa používajú pri detekcii malvérov. Úpravou kódu malých variantov malvéru môže kód vygenerovaný pomocou LLM znížiť detekčné rýchlosti, čím sa ztiaži identifikácia a zastavenie škodlivého softvéru. Tento objav zdôrazňuje znepokojujúce možnosti AI technológií v rukách hrozieb.
V experimente, ktorý uskutočnili výskumníci, predložili kus malvéru známy ako STEELHOOK LLM spolu s jeho pravidlami YARA. Cieľom bolo upraviť zdrojový kód malvéru tak, aby zachoval jeho funkcionalitu a zároveň sa vyhol detekcii. Kód vygenerovaný pomocou LLM úspešne obišiel jednoduché pravidlá YARA, čím preukázal potenciálne zneužitie AI na obchádzanie kybernetických opatrení.
Avšak existujú obmedzenia tohto prístupu. Množstvo textu, ktorý môže AI model spracovať naraz, je obmedzené, čo komplikuje prácu s väčšími kódovými základmi. Napriek tomuto obmedzeniu sa využitie generatívnej AI pri kybernetických hrozbách rozširuje aj mimo obchádzania detekcie.
Nástroje generatívnej AI môžu byť tiež využité na vytváranie deepfakes, čo je syntetický obsah, ktorý manipuluje alebo nahradzuje podobu jednotlivcov. To vyvoláva obavy o predstieranie na väčšej úrovni a potenciálne operácie ovplyvnenia, ktoré napodobňujú legitímne webové stránky. Okrem toho môže generatívna AI zlepšiť snahy o rekonštrukciu tým, že spracováva a obohacuje verejné obrázky, videá a letecké snímky, z ktorých je možné extrahovať hodnotné metadáta pre ďalšie útoky na zariadenia kritickej infraštruktúry.
Pre zmiernenie rizík spojených s AI poháňanými hrozbami, sa organizáciám odporúča dôkladne preskúmať verejne prístupné obrázky a videá zobrazujúce citlivé vybavenie. Ak je to potrebné, taký obsah by mal byť starostlivo preskúmaný a dezinfikovaný, aby sa minimalizovali príležitosti na zneužitie.
Je dôležité si uvedomiť, že AI modely samotné môže byť cieľom útokov. Nedávne výskumy ukázali, že nástroje poháňané LLM môžu byť jailbroken, čo umožňuje vytváranie škodlivého obsahu. Napríklad, prechádzanie vstupmi ASCII art obsahujúcimi citlivé frázy môže obísť bezpečnostné opatrenia a manipulovať LLM k vykonaniu nežiaducich akcií. Tento praktický útok, známy ako ArtPrompt, zdôrazňuje dôležitosť zlepšených bezpečnostných opatrení na ochranu AI modelov pred manipuláciou a zneužitím.
Vzhľadom na tieto vývoje je zrejmé, že AI hrá čoraz prominentnejšiu úlohu v kybernetickej bezpečnostnej oblasti. S rozvojom možností AI je nevyhnutné, aby organizácie a jednotlivci zostali informovaní o nových hrozbách a prijali preventívne bezpečnostné opatrenia.
Čo je generatívna AI?
Generatívna AI sa týka aplikácií techník umelej inteligencie, ktoré umožňujú strojom generovať nový a originálny obsah. Je široko používaná v rôznych odvetviach, vrátane umenia, hudby a teraz aj kybernetickej bezpečnosti.
Čo sú pravidlá YARA?
Pravidlá YARA sú súbor textových vzorov používaných pri detekcii malvérov. Umožňujú bezpečnostným systémom identifikovať a klasifikovať malvér na základe špecifických charakteristík a indikátorov.
Čo sú deepfakes?
Deepfakes sú syntetické médiá, obvykle videá, vytvorené pomocou algoritmov umelej inteligencie. Tieto AI-generované videá môžu manipulovať alebo nahradzovať podobu jednotlivcov, čo často vedie k klamlivým alebo podvodným reprezentáciám.
Ako môžu organizácie zmierniť riziká spojené s AI-poháňanými hrozbami?
Na zmiernenie rizík spojených s AI-poháňanými hrozbami by mali organizácie pravidelne preskúmavať verejne prístupné obrázky a videá zobrazujúce citlivé vybavenie. Ak je to potrebné, taký obsah by sa mal dôkladne preskúmať a dezinfikovať, aby sa minimalizovali príležitosti na zneužitie. Okrem toho by mali byť implementované robustné bezpečnostné opatrenia na ochranu AI modelov pred možnou manipuláciou a zneužitím.
The source of the article is from the blog radiohotmusic.it