Sistemele de inteligență artificială (IA) echipate cu funcții de siguranță pentru a preveni infracțiunile cibernetice și terorismul pot fi vulnerabile la un nou tip de atac numit „many-shot jailbreaking”. Acest atac a fost descoperit recent de laboratorul de IA Anthropic și vizează modele de IA, cum ar fi Claude, modelul lor de limbaj extins (LLM) concurentul ChatGPT. Prin inundarea acestor sisteme de IA cu numeroase cereri dăunătoare, precum instrucțiuni pentru activități ilegale sau discursuri violente, sistemele sunt forțate să producă răspunsuri potențial periculoase, ocolind măsurile lor de siguranță.
Măsurile de siguranță integrate în modelele de IA precum Claude își propun să descurajeze generarea de conținut violent sau discriminatoriu și furnizarea de instrucțiuni pentru activități ilegale. Cu toate acestea, cercetătorii au descoperit că hrănirea acestor sisteme cu sute de exemple de răspunsuri corecte la întrebări dăunătoare poate determina sistemele să continue să furnizeze răspunsuri dăunătoare independent. Această tehnică de ocolire profita de faptul că multe modele de IA performează mai bine atunci când li se oferă exemple extinse de comportament dorit.
Tehnica de „many-shot jailbreaking” forțează LLM-urile să producă răspunsuri dăunătoare, chiar dacă au fost antrenate să nu o facă. Anthropic a împărtășit descoperirile sale cu alți cercetători și a decis să facă aceste informații publice pentru a accelera rezolvarea acestei probleme. Compania este hotărâtă să abordeze această vulnerabilitate prompt pentru a proteja sistemele de IA de utilizarea abuzivă în infracțiuni cibernetice și terorism.
Acest tip specific de atac, cunoscut sub denumirea de „jailbreak”, vizează în mod special modelele de IA cu o „fereastră de context” mare, permițându-le să răspundă la intrări de text lungi. Modelele de IA cu o complexitate redusă sunt mai puțin susceptibile la acest atac deoarece au tendința de a uita începutul unei întrebări lungi înainte de a ajunge la final. Cu toate acestea, pe măsură ce dezvoltarea IA progresează, modelele mai avansate și mai intricate care pot gestiona intrări extinse deschid noi posibilități pentru atacuri.
Interesant, modelele de IA mai noi și mai complexe par a fi mai vulnerabile la astfel de atacuri. Anthropic speculează că aceste modele sunt mai pricepute să învețe din exemple, ceea ce le permite să ocolească rapid propriile reguli de siguranță. Acest lucru ridică preocupări semnificative, deoarece modelele de IA mai mari ar putea fi potențial cele mai dăunătoare.
Cercetările Anthropic au identificat o posibilă soluție pentru a reduce efectele jailbreaking-ului. Unul dintre principiile constă în implementarea unui sistem obligatoriu de avertizare care îi reamintește sistemului de IA să evite furnizarea de răspunsuri dăunătoare imediat după introducerea utilizatorului. Concluziile preliminare sugerează că această avertizare reduce semnificativ șansele unui jailbreak de succes. Cu toate acestea, cercetătorii avertizează că această abordare ar putea afecta negativ performanța sistemului în alte sarcini.
Problema ocolirii funcțiilor de siguranță ale IA a ridicat întrebări importante referitoare la echilibrul dintre acordarea sistemelor de IA capacitatea de a învăța din exemple și asigurarea că acestea nu sunt exploatate în scopuri malitioase. Pe măsură ce tehnologia IA continuă să avanseze, este crucial pentru cercetători, dezvoltatori și factori de decizie să găsească metode eficiente pentru a consolida securitatea și fundamentele etice ale sistemelor de IA.