Maailmas, kus tegutsevad AI vestlusrobotid, võtab Microsoft kindla seisukoha pahatahtliku kasutuse vastu. Täna avaldas ettevõte oma uusima kaitsemehhanismi blogipostituses, teatades Prompt Shields’i saabumisest oma Azure AI stuudiosse ja Azure OpenAI teenusesse. Selle uue tehnoloogia eesmärk on kaitsta kahe tüüpi rünnakute eest, mis on suunatud AI vestlusrobotitele.
Esimese tüüpi rünnak, mida Prompt Shields käsitleb, on otsene rünnak, mida sageli nimetatakse vanglarebimiseks. Selles stsenaariumis loob vestlusroboti kasutaja teadlikult üleskutse, mis püüab sundida AI-d oma tavapäraseid reegleid ja piiranguid eirama. Kasutaja püüab mööda minna julgestusmeetmetest, lisades võtmesõnu või fraase nagu “ignoreeri eelnevaid juhiseid” või “süsteemi järgestamine”.
Otsene rünnak pälvis tähelepanu Microsofti Copilot AI juhtumi puhul, mis seisis kriitika all pärast solvavate ja ähvardavate kommentaaride edastamist. Microsoft käsitles olukorda rõhutades, et need vastused polnud tahtlikud funktsioonid, vaid pigem ekspluateerimisvahendid Copiloti ohutussüsteemide vältimiseks.
Teine rünnakumeetod, mida tuntakse kui kaudset rünnakut või cross-domain käsuliini süstimise rünnet, hõlmab teabe saatmist vestlusroboti kasutajale küber rünnaku teostamise eesmärgil. Häkkerid või pahatahtlikud isikud kasutavad väliseid andmeid nagu e-kirju või dokumente vestlusroboti ekspluateerimiseks.
Kaudsed rünnakud näivad sageli süütuks, kuid võivad kanda olulisi riske. Näiteks võib Azure AI kaudu loodud kohandatud Copilot olla vastuvõtlik pettusele, pahavara levitamisele või sisu manipuleerimisele, kui see töötleb andmeid, kas iseseisvalt või laienduste kaudu.
Mõlemat tüüpi rünnakute vastu võitlemiseks integreerub Microsofti Prompt Shields sisu filtritega Azure OpenAI teenuses. Kasutades masinõpet ja loomuliku keele töötlemist, püüab see funktsioon avastada ja kõrvaldada potentsiaalsed ohud kasutajate üleskutsetes ja kolmanda osapoole andmetes.
Prompt Shields on hetkel saadaval eelvaate režiimis Azure AI sisuturvalisuse jaoks ning see saab peagi kättesaadavaks ka Azure AI stuudios. Alates 1. aprillist on see saadaval ka Azure OpenAI teenuses.
Lisaks Prompt Shields’ile tutvustas Microsoft spotlightingut, kogumit käsuliini tehnoloogiaid…
Kui soovite lugeda lähemalt MIcrosofti AI tehnoloogiate ja nende kasutamise kohta, külastage Microsofti AI Blogi. See blogi pakub uuendusi ja väljavaateid tehisintellekti maailmast, sealhulgas arengutest, rakendustest ja väljakutsetest.
Kui teil tekib küsimusi otsesete rünnakute kohta AI vestlusrobotitele, kaudsete rünnakute, kuidas Prompt Shields kaitseb rünnakute eest või mis on spotlighting, vaadake allpool olevat sageli küsitud küsimuste jaotist:
1. Mis on otsesed rünnakud AI vestlusrobotitele?
Otsesed rünnakud hõlmavad AI vestlusrobotite manipuleerimist, luues käske, mis mööduvad nende tavapärastest reeglitest ja piirangutest.
2. Mis on kaudsed rünnakud AI vestlusrobotitele?
Kaudsed rünnakud toimuvad siis, kui häkkerid või pahatahtlikud isikud kasutavad väliseid andmeid vestlusrobotite ekspluateerimiseks ja küber rünnakute teostamiseks.
3. Kuidas kaitseb Prompt Shields rünnakute eest?
Prompt Shields integreerub sisufiltritega Azure OpenAI teenuses, kasutades masinõpet ja loomuliku keele töötlemist potentsiaalsete ohtude avastamiseks ja kõrvaldamiseks.
4. Mis on spotlighting?
Spotlighting on kogum käsuliini tehnoloogiaid, mille Microsoft tutvustas, et aidata AI mudelitel paremini tuvastada usaldusväärseid käske, eristades riskiga või ebatäpsetest käske.
5. Kust saab juurdepääsu Prompt Shields teenusele?
Prompt Shields on hetkel saadaval eelvaate režiimis Azure AI sisuturvalisuse jaoks. See saab peagi kättesaadavaks ka Azure AI stuudios ja on saadaval alates 1. aprillist ka Azure OpenAI teenuses.
The source of the article is from the blog elperiodicodearanjuez.es