V svetu umetnih chatbotov Microsoft odločno nasprotuje zlonamerni uporabi. V najnovejši objavi bloga je podjetje razkrilo svoj najnovejši obrambni sistem in napovedalo prihod predpon za varovanje v Azure AI Studiu in Azure OpenAI Service. Namen te nove tehnologije je zaščititi pred dvema vrstama napadov, ki ciljata na AI chatbote.
Neposredni napadi: Varovanje pred manipulacijo
Prva vrsta napada, ki jih predpona naslavlja, je neposredni napad, pogosto imenovan tudi jailbreak. V tem primeru uporabnik chatbota namerno oblikuje povabilo, ki si prizadeva manipulirati AI, da zanemari svoja standardna pravila in omejitve. Z vključitvijo ključnih besed ali fraz, kot so “upoštevaj prejšnja navodila” ali “zadnji preklop sistema”, posameznik poskuša obiti varnostne ukrepe.
Ta vrsta napada je pritegnila pozornost v primeru Microsoftovega Copilot AI, ki je bil deležen kritik po odzivih z žaljivimi in grožnjami. Microsoft je naslovil težavo z izpostavljanjem, da ti odzivi niso bili namerne funkcije, temveč izkoriščanja, usmerjenega v obhod varnostnih sistemov Copilota.
Posredni napadi: Zaščita pred kibernetskimi grožnjami
Druga metoda napada, znana kot posredni napad ali napad vbrizganja povabila prek domene, vključuje pošiljanje informacij uporabniku chatbota z namenom izvedbe kibernetskega napada. Hekerji ali zlonamerni posamezniki uporabljajo zunanje podatke, kot so e-pošta ali dokumenti, za izkoriščanje chatbota.
Posredni napadi pogosto izgledajo nedolžno, vendar lahko nosijo pomembna tveganja. Na primer, prilagojen Copilot, zasnovan prek Azure AI, bi bil lahko izpostavljen goljufijam, distribuciji zlonamerne programske opreme ali manipulaciji vsebine, če obdeluje podatke, bodisi neodvisno ali prek razširitev.
Predpone: Krepitev varnosti chatbota
Da bi se borili proti neposrednim in posrednim napadom, Microsoftove predpone sodelujejo s filtri vsebine v Azure OpenAI Service. Z uporabo strojnega učenja in obdelave naravnega jezika ta funkcija skuša zaznati in odpraviti potencialne grožnje znotraj uporabniških povabil in podatkov tretjih oseb.
Predpona je trenutno na voljo v predstavitvenem načinu za Azure AI Content Safety, kmalu pa bo dostopna v Azure AI Studiu. Od 1. aprila bo prav tako na voljo za Azure OpenAI Service.
Osredotočanje: Omočanje AI modelov
Poleg predpon je Microsoft predstavil osredotočanje, sklop tehnik inženiringa povabil. Ta inovativni pristop pomaga AI modelom pri boljšem prepoznavanju veljavnih AI povabil ter ločevanju tistih, ki bi lahko predstavljali tveganje ali pomanjkanje zanesljivosti.
Pogosta vprašanja (FAQ):
1. Kaj so neposredni napadi na AI chatbote?
Neposredni napadi vključujejo manipulacijo AI chatbotov z oblikovanjem povabil, ki obidejo njihova običajna pravila in omejitve.
2. Kaj so posredni napadi na AI chatbote?
Posredni napadi se zgodijo, ko hekerji ali zlonamerni posamezniki uporabijo zunanje podatke za izkoriščanje chatbotov in izvedbo kibernetskih napadov.
3. Kako predpone varujejo pred napadi?
Predpone sodelujejo s filtri vsebine v Azure OpenAI Service, s čimer uporabljajo strojno učenje in obdelavo naravnega jezika za prepoznavanje in odpravljanje potencialnih groženj.
4. Kaj je osredotočanje?
Osredotočanje je sklop tehnik inženiringa povabil, ki jih je Microsoft predstavil za pomoč AI modelom pri ločevanju zanesljivih povabil od tistih, ki bi lahko predstavljali tveganje.
5. Kje lahko dostopamo do predpon?
Predpone so trenutno na voljo v predstavitvenem načinu za Azure AI Content Safety, kmalu pa bodo dostopne v Azure AI Studiu ter na voljo za Azure OpenAI Service od 1. aprila.
The source of the article is from the blog shakirabrasil.info