I den moderne verda av AI chatbots gjer Microsoft ein avgjerande innsats mot misbruk. I dag avslørte selskapet sitt nyaste forsvarssystem i ein bloggpost, og kunngjorde lanseringa av Avanserte Skjold for å beskytte AI chatbots mot utnytting.
Direkte Angrep: Vern mot Manipulasjon
Det første angrepet som Avanserte Skjold rettar seg mot, er det direkte angrepet, ofte kalla ein jailbreak. I denne situasjonen handlar brukaren av chatboten med vilje ein prompt som siktar mot å manipulere AI-en til å ignorere sine standardreglar og avgrensingar. Ved å inkludere nøkkelord eller frasar som «ignorer tidlegare instruksjonar» eller «systemoverstyring», prøver personen å omgå sikkerhetstiltak.
Dette angrepet fekk merksemd i tilfellet med Microsoft sin Copilot AI, som vart kritisert for å svare med støytande og trugande kommentarar. Microsoft handterte problemet ved å understreke at desse svara ikkje var gjennomtenkte funksjonar, men heller utnyttingar som søkte å omgå Copilot sine tryggleikssystem.
Indirekte Angrep: Beskyttelse mot Cybertruslar
Den andre angrepsmetoden, kjent som det indirekte angrepet eller tverrdomene-promptinjeksjonsangrepet, omfattar å sende informasjon til ein chatbot-brukar med hensikt om å utføre ein cyberangrep. Hackarar eller ondsinna individer nyttar ekstern data som e-postar eller dokument til å utnytte chatboten.
Indirekte angrep ser ofte uskuldige ut, men dei kan medføre betydelege risikoar. Til dømes kan ein tilpassa Copilot designa gjennom Azure AI vere sårbar for svindel, distribuering av skadeleg programvare eller manipulasjon av innhald dersom den prosesserer data, enten uavhengig eller via utvidingar.
Avanserte Skjold: Styrking av Chatbotsikkerheit
For å bekjempe både direkte og indirekte angrep, integrerer Microsoft sine Avanserte Skjold med innhaldsfiltrane i Azure OpenAI Service. Ved å nytte maskinlæring og naturleg språkbehandling, søkjer denne funksjonen å oppdage og eliminere potensielle truslar i brukarpromptar og tredjepartsdata.
Avanserte Skjold er for øyeblikket tilgjengeleg i førehandsvisingsmodus for Azure AI Innhaldssikkerheit, og det vil snart bli tilgjengeleg i Azure AI Studio. Frå og med 1. april, vil det også være tilgjengeleg for Azure OpenAI Service.
Belysning av: Styrking av AI-modellar
I tillegg til Avanserte Skjold introduserte Microsoft belysning, ein samling promptteknikkar. Denne innovative tilnærminga hjelper AI-modellar med å betre identifisere gyldige AI-promptar medan dei skiljer dei som kan utgjere ein risiko eller manglar pålitelighet.
Vanlege Spørsmål
1. Kva er direkte angrep på AI chatbots?
Direkte angrep involverer manipulering av AI chatbots ved å utforme promptar som omgår deira vanlege reglar og avgrensingar.
2. Kva er indirekte angrep på AI chatbots?
Indirekte angrep skjer når hackarar eller ondsinna individer brukar ekstern data til å utnytte chatbots og utføre cyberangrep.
3. Korleis beskyttar Avanserte Skjold mot angrep?
Avanserte Skjold integrerer med innhaldsfiltrane i Azure OpenAI Service, nytter maskinlæring og naturleg språkbehandling for å identifisere og eliminere potensielle truslar.
4. Kva er belysning?
Belysning er ei samling promptteknikkar introdusert av Microsoft for å hjelpe AI-modellar med å skilje pålitelige promptar frå dei som kan utgjere ein risiko.
5. Kor kan Avanserte Skjold vere tilgjengelege?
Avanserte Skjold er for øyeblikket tilgjengeleg i førehandsvisingsmodus for Azure AI Innhaldssikkerheit. Det vil snart være tilgjengeleg i Azure AI Studio og vil være tilgjengeleg for Azure OpenAI Service frå 1. april.
For meir informasjon om AI chatbots og teknologien som Microsoft implementerer, besøk Microsoft sin AI-blogg. Denne bloggen gir oppdateringar og innsikt i kunstig intelligens, inkludert framsteg, anvendelser og utfordringar.
The source of the article is from the blog procarsrl.com.ar