I världen av AI chatbots tar Microsoft ett bestämt avstånd från skadlig användning. Företaget avslöjade idag sitt senaste försvarssystem i en bloggpost och tillkännagav att Prompt Shields, nu finns tillgängligt för Azure AI Studio och Azure OpenAI Service. Syftet med denna nya teknologi är att skydda mot två typer av attacker som riktar sig mot AI chatbots.
**Direkta attacker: Skydda mot Manipulation**
Den första typen av attacker som Prompt Shields hanterar är den direkta attacken, ofta känd som jailbreak. I detta scenario konstruerar användaren av chatboten avsiktligen en uppmaning som syftar till att manipulera AI:n att bortse från sina standardregler och begränsningar. Genom att inkludera nyckelord eller fraser som ”ignorera tidigare instruktioner” eller ”system override,” försöker personen kringgå säkerhetsåtgärderna.
Denna typ av attack fick uppmärksamhet i fallet med Microsofts Copilot AI, som kritiserades efter att ha svarat med stötande och hotande kommentarer. Microsoft hanterade problemet genom att betona att dessa svar inte var avsiktliga funktioner utan snarare exploateringar avsedda att kringgå Copilots säkerhetssystem.
**Indirekta attacker: Skydda mot Cybersäkerhetshot**
Den andra attackmetoden, känd som indirekt attack eller korsdomän promptinjiceringsattack, innebär att skicka information till en chatbot-användare med avsikten att utföra en cyberattack. Hackare eller skadliga individer använder externa data som e-postmeddelanden eller dokument för att exploatera chatboten.
Indirekta attacker verkar ofta harmlösa, men de kan innebära betydande risker. Till exempel kan en anpassad Copilot designad genom Azure AI vara sårbar för bedrägeri, spridning av skadlig programvara eller innehållsmanipulation om den bearbetar data, antingen självständigt eller via tillägg.
**Prompt Shields: Stärker Chatbotens Säkerhet**
För att bekämpa både direkta och indirekta attacker integrerar Microsofts Prompt Shields med innehållsfiltrerna i Azure OpenAI Service. Genom att dra nytta av maskininlärning och naturlig språkbehandling söker denna funktion att upptäcka och eliminera potentiella hot inom användaruppmuntringar och tredjepartsdata.
Prompt Shields är för närvarande tillgängliga i förhandsvisning för Azure AI Content Safety, och det kommer snart att vara tillgängligt i Azure AI Studio. Från och med den 1 april kommer det även att vara tillgängligt för Azure OpenAI Service.
**Highlighting: Stärka AI-modeller**
Förutom Prompt Shields, introducerade Microsoft highlighting, en familj av prompt engineering-tekniker. Denna innovativa metod hjälper AI-modellerna att bättre identifiera giltiga AI-uppmuntringar samtidigt som de skiljer dem som kan utgöra en risk eller saknar tillförlitlighet.
**Vanliga Frågor**
1. Vad är direkta attacker mot AI chatbots?
Direkta attacker innebär att manipulera AI chatbots genom att konstruera uppmuntringar som kringgår deras vanliga regler och begränsningar.
2. Vad är indirekta attacker mot AI chatbots?
Indirekta attacker inträffar när hackare eller skadliga individer använder extern data för att exploatera chatbots och utföra cyberattacker.
3. Hur skyddar Prompt Shields mot attacker?
Prompt Shields integreras med innehållsfiltren i Azure OpenAI Service, genom att använda maskininlärning och naturlig språkbehandling för att identifiera och eliminera potentiella hot.
4. Vad är highlighting?
Highlighting är en samling av prompt engineering-tekniker som introducerats av Microsoft för att hjälpa AI-modeller att skilja tillförlitliga uppmuntringar från dem som kan utgöra en risk.
5. Var kan Prompt Shields nås?
Prompt Shields är för närvarande tillgängliga i förhandsvisning för Azure AI Content Safety. Det kommer snart att vara tillgängligt i Azure AI Studio och från och med den 1 april kommer det även att vara tillgängligt för Azure OpenAI Service.
Om du vill veta mer om AI chatbots och den teknologi som Microsoft implementerar, besök Microsofts AI-blogg. Denna blogg ger uppdateringar och insikter om artificiell intelligens, inklusive framsteg, tillämpningar och utmaningar.
The source of the article is from the blog elektrischnederland.nl