Kunstig intelligens (AI) chatbots har blitt stadig meir populære som verktøy for kommunikasjon og generering av innhald. Likevel har desse chatbotsa ikkje mangel på svakheiter og skjevheter. Dei har blitt kjende for å kategorisere individer, spreie falsk informasjon, og til og med generere støtande innhald. Sjølv om desse problema har vore mykje diskutert, manglar det ein omfattande forståing for kor langt problemet rekk. Ein fersk rapport kastar lys over dei ulike måtane AI chatbots kan gå gale, og gir verdifulle innsiktar i deira avgrensingar og risikoar.
Rapporten fokuserer på resultata frå ein konkurranse kalla Generative Red Team Challenge, som fann stad på Def Con hacker-konvensjonen. Målet med konkurransen var å teste sårbarheitene til åtte leiande AI chatbots ved å oppmunte hackarar og den generelle offentlegheita til å provosere dei til å produsere problematisk responsar. Testkategoriene inkluderte politisk misinformasjon, demografiske skjevheter, brudd på cyber-sikkerhet, og påstandar om AI-sjølvbevissthet.
Ei av dei viktigaste funna frå konkurransen er at det er utfordrande å manipulere AI chatbots til å bryte sine eigne reglar eller retningslinjer. Likevel er det relativt enkelt å få dei til å produsere unøyaktig informasjon. Av tusenvis av innleveringar hadde deltakarane ein høg suksessrate med å få chatbots til å generere feil i matematikk (76 prosent) og geografisk misinformasjon (61 prosent). Overraskande nok, sjølv i det juridiske domenet, var chatbots tilbøyelege til å gi misvisande informasjon, med ein suksessrate på 45 prosent.
I tillegg avslørte rapporten at AI chatbots slit med å verne sensitiv informasjon. I simuleringar der deltakarar prøvde å trekke ut skjulte kredittkortnummer eller få administrator-tilgang til eit nettverk, var meir enn halvparten av dei innsende løysingane vellykka. På den andre sida møtte deltakarar større vanskar med å få chatbots til å unnskylde menneskerettigheitsbrot eller hevde underlegenheta til visse grupper.
Interessant nok oppdaga deltakarar at den mest effektive måten å leie ei chatbot på var ikkje gjennom tradisjonelle hackingteknikkar, men ved å byrje med ei falsk premiss. Chatbots slit ofte med å skilje mellom fakta og fiksjon, og aksepterer gjerne falske påstandar og bygger vidare på dei med ytterlegare unøyaktigheiter. Dette har store implikasjonar for å handtere potensielle skadar ved AI-system, og tyder på at innsatsen bør fokusere mindre på hackingforsøk og meir på den utilsikta forsterkinga av brukar-skjevheter og misoppfatningar.
Rapporten understrekar også den aukande interessa for rødlaging av øvingar for å vurdere risikoen knytt til AI-system. Rødlaging involverer å hyre eksterne ekspertar for å teste eit systems sårbarheiter før det vert lansert. Medan privat rødlaging er vanleg i cyber-sikkerheitsfeltet, demonstrerte Def Con-arrangementet verdien av å involvere den breiare offentlegheita for å avdekke sårbarheiter og fange diverse perspektiv.
Som AI-selskap og reguleringsorgan aukar stadig anerkjenninga av viktigheten av rødlaging, er det avgjerande å invitere en breiare spekter av interessentar for å sikre ein omfattande evaluering av risikoane knytt til AI-system. Gjennomsiktighet og offentleg engasjement kan bidra til ein grundigare forståing av dei potensielle implikasjonane og leiinga av utviklinga av solide AI-governing rammeverk.
Vanlege spørsmål (FAQ)
1. Kva er AI chatbots?
AI chatbots er dataprogram designa for å simulere menneskeleg samtale og interaktere med brukarar gjennom tekst eller lyd.
2. Kva er avgrensingane til AI chatbots?
AI chatbots kan ha feil og skjevheter, som kan føre til unøyaktig informasjon, forsterking av stereotypar, og generering av støtande innhald.
3. Korleis kan AI chatbots gå gale?
AI chatbots kan produsere unøyaktig informasjon, forsterke brukarskjevheter, mislykkast i å verne sensitiv data, og vise sårbarheiter for utnytting.
4. Kva er rødlaging?
Rødlaging er ein praksis der eksterne ekspertar blir engasjert for å teste sårbarheitane til eit system før det vert lansert, med mål om å identifisere potensielle risikoar og forbetre sikkerhetstiltak.
Kjelder:
– The Washington Post
– Def Con
– Humane Intelligence
– Google
– Cohere
The source of the article is from the blog oinegro.com.br