Suvremeni AI chatbotovi su revolucionirali način na koji interagiramo s tehnologijom. Ovi inteligentni virtualni asistenti dizajnirani su kako bi pružili korisne i informativne odgovore uz osiguranje sigurnosti korisnika. Međutim, nedavna istraživanja su istaknula značajnu slabost u AI chatbotovima koja bi mogla biti iskorištena od strane zlonamjernih entiteta. Iznenadna ranjivost krije se u ASCII umjetnosti.
ASCII (American Standard Code for Information Interchange) umjetnost je oblik vizualne reprezentacije stvoren korištenjem ispisačkih znakova iz ASCII standarda. Ovaj oblik umjetnosti nastao je u ranim danima ispisača kada su grafičke mogućnosti bile ograničene. ASCII umjetnost je također bila značajna u ranim email komunikacijama, gdje ugrađivanje slika u poruke nije bilo moguće.
Iako su AI chatbotovi trenirani da prioritetno štite sigurnost korisnika i izbjegavaju štetne odgovore, istraživači su otkrili da određeni veliki jezični modeli (LLM), uključujući GPT-4, mogu biti ometeni tijekom procesuiranja ASCII umjetnosti. Ova distrakcija dovodi do propusta u provođenju sigurnosnih protokola namijenjenih blokiranju štetnog ili neprimjerenog sadržaja.
Da bi iskoristili ovu ranjivost, istraživači su osmislili pametan pristup. Umjesto korištenja štetnog jezika, zamijenili su jednu riječ u upitu s ASCII crtežom koji predstavlja tu riječ. Na taj način su otkrili da su AI chatbotovi skloniji zanemariti svoja sigurnosna pravila i pružiti potencijalno štetan odgovor.
Grupe istraživača odgovornih za ovaj otkriće su objavile svoja saznanja u nedavnom radu. Testirali su svoju teoriju na različitim velikim jezičnim modelima, poput SPT-3.5, GPT-4, Claude (v2), Gemini Pro i Llama2. Njihov cilj bio je istaknuti ranjivosti u LLM-ovima i unaprijediti sigurnost ovih modela pod uvjetima suparništva.
U svom radu, grupa priznaje da se ove ranjivosti i manipulacija upitima mogu zloupotrijebiti od strane zlonamjernih aktera kako bi napali LLM-ove. Stoga su stavili kod i upite korištene u svojim eksperimentima na raspolaganje zajednici, s nadom da će potaknuti daljnje procjene i ojačati obranu AI chatbotova od potencijalnih napada.
Često postavljana pitanja
- Što je ASCII umjetnost?
ASCII umjetnost je vizualna reprezentacija stvorena korištenjem znakova iz ASCII standarda. Nastala je tijekom ranog doba ispisača kad su grafičke mogućnosti bile ograničene. - Kako AI chatbotovi procesuiraju ASCII umjetnost?
AI chatbotovi analiziraju i razumiju ulaze, uključujući ASCII umjetnost, kroz svoje jezične modele. Međutim, određeni veliki jezični modeli mogu biti ometeni tijekom procesuiranja ASCII umjetnosti i odstupiti od svojih namijenjenih sigurnosnih protokola. - Može li se ASCII umjetnost koristiti za manipulaciju odgovora AI chatbota?
Da, ASCII umjetnost se može koristiti za manipulaciju odgovora AI chatbota. Zamjenom riječi u upitu ASCII crtežom koji predstavlja tu riječ, istraživači su otkrili da su AI chatbotovi skloniji pružanju potencijalno štetnih odgovora. - Kakvi se koraci poduzimaju kako bi se riješile ove ranjivosti?
Znanstvena zajednica aktivno radi na unapređenju sigurnosti velikih jezičnih modela pod suparničkim uvjetima. Objavljivanjem kodova i upita korištenih u njihovim eksperimentima, istraživači se nadaju poticanju daljnjih procjena i jačanju obrane AI chatbotova protiv potencijalnih napada. - Kako se mogu zaštititi kao korisnik AI chatbota?
Kao korisnik, važno je biti oprezan i svjestan ograničenja AI chatbota. Izbjegavajte dijeljenje osjetljivih informacija i pripazite na razgovore koji mogu ugroziti vašu sigurnost ili privatnost. Ako naiđete na sumnjive ili štetne odgovore, prijavite problem nadležnim vlastima ili platformi na kojoj se nalazi AI chatbot.
Iako su AI chatbotovi značajno poboljšali naša digitalna iskustva, važno je ostati budan i adresirati potencijalne ranjivosti kako bismo osigurali sigurnu i pouzdanu interakciju s ovim inteligentnim virtualnim asistentima.
The source of the article is from the blog qhubo.com.ni