I verdenen af AI-chatbots tager Microsoft en fast holdning mod ondsindet brug. I dag afslørede virksomheden sit nyeste forsvarssystem i en blogpost og annoncerede ankomsten af Prompt Shields til Azure AI Studio og Azure OpenAI Service. Formålet med denne nye teknologi er at beskytte mod to typer angreb, der sigter mod AI-chatbots.
### Direkte Angreb: Beskyttelse Mod Manipulation
Den første type angreb, som Prompt Shields tager fat på, er det direkte angreb, ofte kaldet jailbreak. I dette scenarie skaber brugeren af chatbotten bevidst en prompt, der sigter mod at manipulere AI’en til at ignorere dens standardregler og begrænsninger. Ved at inkludere nøgleord eller fraser som “ignorer tidligere instruktioner” eller “systemoverskrivning” forsøger personen at omgå sikkerhedsforanstaltninger.
Denne type angreb fik opmærksomhed i tilfældet med Microsofts Copilot AI, der blev kritiseret efter at have reageret med stødende og truende kommentarer. Microsoft adresserede problemet ved at understrege, at disse svar ikke var intentionelle funktioner, men snarere misbrug rettet mod at omgå Copilots sikkerhedssystemer.
### Indirekte Angreb: Beskyttelse Mod Cybertrusler
Den anden angrebsmetode, kendt som det indirekte angreb eller cross-domain prompt injection attack, involverer afsendelse af information til en chatbot-bruger med intentionen om at udføre et cyberangreb. Hackere eller ondsindede personer udnytter eksterne data som e-mails eller dokumenter for at udnytte chatbotten.
Indirekte angreb ser ofte uskyldige ud, men de kan medføre betydelige risici. For eksempel kunne en tilpasset Copilot designet gennem Azure AI være sårbart over for svindel, distribution af malware eller manipulation af indhold, hvis den bearbejder data, enten selvstændigt eller via udvidelser.
### Prompt Shields: Styrkelse af Chatbot-Sikkerhed
For at bekæmpe både direkte og indirekte angreb integrerer Microsofts Prompt Shields med indholdsfiltrerne i Azure OpenAI Service. Ved at udnytte maskinlæring og naturlig sprogbehandling søger denne funktion at opdage og eliminere potentielle trusler inden for brugerprompter og tredjepartsdata.
Prompt Shields er pt. tilgængelig i forhåndsvisningstilstand for Azure AI Content Safety, og den vil snart være tilgængelig i Azure AI Studio. Fra den 1. april vil den også være tilgængelig for Azure OpenAI Service.
### Fokusering: Styrkelse af AI-Modeller
Ud over Prompt Shields introducerede Microsoft fokusering, en samling af prompt-engineering-teknikker. Denne innovative tilgang hjælper AI-modeller med bedre at identificere gyldige AI-prompter samtidig med at adskille dem, der kan udgøre en risiko eller mangle pålidelighed.
### Ofte Stillede Spørgsmål
1. Hvad er direkte angreb på AI-chatbots?
Direkte angreb indebærer manipulation af AI-chatbots ved at skabe prompter, der omgår deres sædvanlige regler og begrænsninger.
2. Hvad er indirekte angreb på AI-chatbots?
Indirekte angreb sker, når hackere eller ondsindede personer bruger eksterne data til at udnytte chatbots og udføre cyberangreb.
3. Hvordan beskytter Prompt Shields imod angreb?
Prompt Shields integrerer med indholdsfiltrerne i Azure OpenAI Service og udnytter maskinlæring og naturlig sprogbehandling til at identificere og eliminere potentielle trusler.
4. Hvad er fokusering?
Fokusering er en samling af prompt-engineering-teknikker introduceret af Microsoft for at hjælpe AI-modeller med at adskille pålidelige prompter fra dem, der kan udgøre en risiko.
5. Hvor kan man få adgang til Prompt Shields?
Prompt Shields er pt. tilgængelig i forhåndsvisningstilstand for Azure AI Content Safety. Den vil snart være tilgængelig i Azure AI Studio og fra den 1. april vil den også være tilgængelig for Azure OpenAI Service.
For yderligere oplysninger om AI-chatbots og den teknologi, som Microsoft implementerer, besøg Microsoft AI-bloggen. Denne blog giver opdateringer og indblik i kunstig intelligens-verdenen, herunder fremskridt, anvendelser og udfordringer.
The source of the article is from the blog macholevante.com