Cercetătorii în domeniul securității au desfășurat recent un experiment pentru a evalua nivelul de siguranță al modelelor populare de chatbot-uri AI și nivelul lor de susceptibilitate la jailbreaking. Jailbreaking-ul se referă la circumvenirea restricțiilor de siguranță și a liniilor directoare etice implementate de dezvoltatorii de software. Studiul a relevat faptul că Grok, un chatbot dezvoltat de x.AI al lui Elon Musk, a prezentat cea mai mare vulnerabilitate între uneltele testate.
Pentru a testa securitatea modelelor de chatbot, cercetătorii au folosit trei categorii de metode de atac. Prima categorie implica tehnici de manipulare lingvistică și prompturi psihologice, cu scopul de a manipula comportamentul chatbot-ului. A doua categorie a folosit tactici de manipulare a logicii de programare, exploatând înţelegerea de către chatbot-uri a limbajelor de programare și a algoritmilor. A treia abordare a folosit metode de AI adversar pentru a viza procesarea limbajului și interpretarea chatbot-urilor. Cu toate că toate chatbot-urile au detectat și au prevenit cu succes atacurile de AI adversar, unele erau mai susceptibile la manipulare lingvistică și exploatare a logicii de programare.
Pe baza nivelului de securitate, cercetătorii au clasificat modelele de chatbot-uri. Meta LLAMA a fost considerat cel mai sigur model, urmat de Claude, Gemini și GPT-4. Grok a fost clasificat ca fiind cel mai puțin sigur, împreună cu modelul “Mistral Large” al Mistral AI.
Studiul evidențiază importanța soluțiilor open-source și a implementării corecte pentru a îmbunătăți securitatea AI. Modelele open-source oferă o varietate mai mare pentru protecție, dar înţelegerea și implementarea protocoalelor effective rămân cruciale. Colaborarea cu dezvoltatorii de chatbot-uri pentru a îmbunătăți protocoalele de siguranță ale AI este esențială, iar cercetătorii își exprimă dorința de a lucra împreună în acest sens. Cu toate acestea, cercetătorii nu au dezvăluit detalii tehnice specifice pentru a preveni abuzul.
Studiul a relevat, de asemenea, existența unor forumuri unde chatbot-urile jailbroken sunt vândute în scopuri malitioase, precum crearea de e-mailuri de phishing, generarea discursului discriminatoriu și desfășurarea de activități ilegale. Acest lucru subliniază riscurile potențiale asociate cu interacțiunile compromise ale chatbot-urilor.
Pe măsură ce societatea depinde tot mai mult de soluțiile alimentate de AI, securizarea interacțiunilor cu chatbot-urile devine esențială. Dacă chatbot-urile sunt utilizate în procesele automate de luare a deciziilor și conectate la asistenții de e-mail sau aplicațiile financiare, consecințele potențiale ale chatbot-urilor compromise pot include accesul neautorizat și controlul asupra informațiilor sensibile ale utilizatorilor.
Pentru a fi la curent cu cele mai recente evoluții din industria de AI, puteți consulta surse precum Adversa AI și Decrypt. Aceste surse oferă informații valoroase, știri și analize legate de sectorul AI, inclusiv tehnologiile chatbot-urilor și securitatea acestora.
The source of the article is from the blog portaldoriograndense.com