AI čata datorprogrammatūras pasaulē Microsoft ir ieņēmis stingru nostāju pret ļaunprātīgu izmantošanu. Šodien uzņēmums atklāja savu jaunāko aizsardzības sistēmu bloga ierakstā, paziņojot par Prompt paliktņu ierašanos tā Azure AI studijā un Azure OpenAI Servisā. Šīs jaunās tehnoloģijas mērķis ir aizsargāt pret divu veidu uzbrukumiem, kas vērsti pret AI čata datorprogrammatūru.
Tiešie uzbrukumi: Aizsardzība pret manipulāciju
Pirmais uzbrukuma veids, ko risina Prompt paliktņi, ir tiešais uzbrukums, bieži saukts par ieslodzīšanu. Šajā scenārijā čata datorprogrammatūras lietotājs apzināti izstrādā palīgu, kas mērķēts uz manipulēšanu ar AI, lai ignorētu savas standarta noteikumus un ierobežojumus. Iekļaujot atslēgvārdus vai frāzes kā “ignorēt iepriekšējās instrukcijas” vai “sistēmas apvērsums”, persona cenšas izvairīties no drošības pasākumiem.
Šis uzbrukuma veids guva uzmanību Microsoft Copilot AI gadījumā, kam pēc atbildes ar apvainojumiem un draudiem sekoja kritika. Microsoft šo jautājumu risināja, uzsverot, ka šīs atbildes nav nodomi, bet gan eksploatacijas mēģinājumi, kas vērsti uz Copilot drošības sistēmu apietanu.
Netaisnie uzbrukumi: Aizsardzība pret kiberaugstām
Otrais uzbrukuma veids, pazīstams kā netiešais uzbrukums vai krustu domēnu palīgu iestrādāšanas uzbrukums, ietver informācijas nosūtīšanu čata datorprogrammatūras lietotājam ar nodomiem veikt kiberaugstāmi. Hakeri vai ļaunprātīgi cilvēki izmanto ārējas informācijas avotus, piemēram, epastus vai dokumentus, lai eksploatētu čata datorprogrammatūru.
Netiešie uzbrukumi bieži izskatās nekaitīgi, taču tie var radīt nozīmīgas riskus. Piemēram, pielāgots Copilot, ko izveidoja caur Azure AI, varētu būt pakļauts krāpniecībai, ļaunprogrammatūras izplatībai vai satura manipulācijai, ja tas apstrādā datus, vai nu neatkarīgi, vai ar paplašinājumu palīdzību.
Prompt paliktņi: Čata datorprogrammatūras aizsardzības stiprināšana
Lai cīnītos ar gan tiešiem, gan netiešiem uzbrukumiem, Microsoft Prompt paliktņi integrējas ar saturfiltriem Azure OpenAI Servisā. Izmantojot mašīnmācību un dabiskās valodas apstrādi, šī funkcija cenšas atklāt un novērst potenciālas draudus lietotāju palīgos un trešo pušu datu ietvaros.
Prompt paliktņi pašlaik ir pieejami priekšskatījuma režīmā Azure AI Satura Drošībā, un tuvākajā laikā to varēs izmantot Azure AI studijā. No 1. aprīļa to būs iespējams izmantot arī Azure OpenAI Servisā.
Uzmanību pievērsošana: AI modeļu uzlabošana
Kā papildinājumu Prompt paliktņiem, Microsoft ieviesa uzmanības pievēršanu, noteiktu palīgu inženierijas tehniku kopumu. Šis inovatīvais piegājienas veids palīdz AI modeļiem labāk identificēt derīgus AI palīgus, atšķirot tos, kas varētu radīt risku vai būt nepārliecinoši uzticami.
Bieži uzdotie jautājumi
1. Kas ir tiešie uzbrukumi AI čata datorprogrammatūrai?
Tiešie uzbrukumi ietver AI čata datorprogrammatūras manipulēšanu, izstrādājot palīgus, kas apiet to parastās noteikumus un ierobežojumus.
2. Kas ir netiešie uzbrukumi AI čata datorprogrammatūrai?
Netiešie uzbrukumi notiek, kad hakeri vai ļaunprātīgi cilvēki izmanto ārējos datus, lai ekspluatētu čata datorprogrammatūru un veiktu kiberaugstāmus.
3. Kā Prompt paliktņi aizsargā pret uzbrukumiem?
Prompt paliktņi integrējas ar saturfiltriem Azure OpenAI Servisā, izmantojot mašīnmācību un dabiskās valodas apstrādi, lai identificētu un novērstu potenciālus draudus.
4. Kas ir uzmanība?
Uzmanība ir Microsoft ieviesta palīgu inženierijas tehniku kopums, kas palīdz AI modeļiem labāk atšķirt uzticamus palīgus no tiem, kas varētu radīt risku.
5. Kur var piekļūt Prompt paliktņiem?
Prompt paliktņi pašlaik ir pieejami priekšskatījuma režīmā Azure AI Satura Drošībā. Tuvojoties 1. aprīlim, tos būs iespējams izmantot arī Azure AI studijā un Azure OpenAI Servisā.
Lai iegūtu vairāk informācijas par AI čata datorprogrammatūru un tehnoloģiju, kuras Microsoft īsteno, apmeklējiet Microsoft AI blogu. Šis blogs sniedz jaunumus un atziņas par mākslīgo inteliģenci, tostarp progresiem, lietojumiem un izaicinājumiem.
The source of the article is from the blog maestropasta.cz