I eit djervt forsøk på å redusere risikoen for at kunstig intelligens (AI)-system produserer skadelige, diskriminerende eller giftige svar, har forskarar snudd seg til ein utradisjonell metode: å bruke AI sjølv for å utfordre systemet. Denne nye treningsmetoden vert kalla nysgjerrigheitsdriven «red teaming» (CRT), og involverer bruk av AI for å skape eit spekter av potensielt farlege eller skadelege førespurnader ein kunne stille til ein AI chattrobot.
Forbetring av AI-innhaldsmoderasjon gjennom innovative treningsmetodar
Desse framstilte førespurnadane spelar ei viktig rolle sidan dei er nytta til å finjustere systemets evne til å filtrere innhald. I følgje nylege funn publisert i ein studie på arXiv den 29. februar, trur forskarar at denne oppdaginga kan endre måten AI’er vert programmert på for å unngå giftige svar til brukarforespurnader.
I den tradisjonelle prosessen kjend som «red-teaming,» handlar menneskeoperatørar typiskfram ei rekkje granskande spørsmål som kan framkalle skadelege svar, som førespurnader om dei beste metodane for selvskading. Denne standardprosedyren er då ein integrert del av å instruere systemet om kva innhald det skal avgrense når det interagerer med brukarar i den virkelige verda.
Automatisert Red-Teaming Overgår Manuelle Metodar
Studien implementerte maskinlæring i red teaming, med oppsett av AI til automatisk å generere eit større spekter av potensielt farlege oppmodingar enn det menneskelige team manuelt kunne ha tenkt ut. Denne tilnærminga førte til eit større og meir variert spekter av negative svar som vart produsert av AI-systema under trening.
Maskinlæringsmodellar, lik dei som vart nytta i CRT, er programmerte til å utforske og generere nye oppmodingar gjennom å analysere konsekvensane frå føregåande interaksjonar, som incentiviserer systemet til å framkalle giftige svar med nye ord, setningsmønstre eller meiningar.
Når CRT-tilnærminga vart nytta på open-kjeldemodellen LLaMA2, genererte AI’en 196 oppmodingar som resulterte i skadeleg innhald, trass i at AI’en tidlegare vart justert av menneskeoperatørar for å hindre giftig oppførsel. Denne metoden overgjekk òg konkurrerande automatiserte treningsystem, noko som indikerer ei ny front innan AI-sikkerhet og pålitelegheitstrening.
Viktige Spørsmål og Svar:
1. Kva er nysgjerrigheitsdriven «red teaming» (CRT)? Nysgjerrigheitsdriven red teaming er ein AI-assistert teknikk der eit AI-system genererer ein brei spekter av potensielle førespurnader som kunne føre til usikre AI-svar. Systemet lærer å produsere desse utfordringane ved å forstå konsekvensane av tidlegare interaksjonar.
2. Korleis skil CRT seg frå tradisjonelle red-teaming-metodar? Tradisjonelle red-teaming-methodar er avhengige av menneskeoperatørar for å generere granskande spørsmål, medan CRT automatiserer denne prosessen ved hjelp av AI, som kan skape ein større og meir variert sett av oppfordringar.
3. Kva er dei viktigaste utfordringane ein står overfor med CRT? Ein viktig utfordring er å sikre at AI’en ikkje overtilpassar seg til dei kritiserande døma og mistar generell prestasjon. Eit anna bekymringsmoment er at automatisert red-teaming kunne oppdage stadig subtilare måtar å provosere usikre svar på, noko som krev kontinuerlege tilpassingar i moderasjonssystem.
4. Er det nokon kontroversar knytt til CRT? Potensielle kontroversar kunne kome frå dei utfordrande tilnærmingane med å definere «uskikkeleg» innhald, då kva som vert vurdert som skadeleg eller giftig kan vere kulturelt følsamt og kontekstavhengig. Ytterlegare er det eit etisk spørsmål om å skape og handtere eit system som har som funksjon å generere potensielt skadeleg innhald.
Fordelar og Ulemper:
Fordelar med CRT:
– CRT kan skape ein større og meir variert sett med potensielt farlege oppmodingar enn menneskelege red-team, noko som forbetrar AI’ens evne til å handtere ulike reelle scenario.
– Teknikken kan tilpasse seg til utvikling av språkmønstre og føreseie nye former av usikkert innhald.
– Ved å trene på eit breitt utval av oppmodingar, kan AI-system bli meir robuste og mindre tilbøyelege til å produsere skadeleg innhald.
Ulemper med CRT:
– Når AI’en genererer meir avanserte kritiserande oppmodingar, er det ein risiko for at AI-systemet som testast kan lære desse skadelege mønstre.
– CRT krev nøye implementering for å hindre at AI’en adopterer etiske handlingar.
– Å fastsette rett balanse av kritiserande utfordringar utan å kompromittere AI’ens generelle prestasjon er ei kompleks oppgåve.
Relaterte Lenker:
For meir kontekst kan lesarar besøke nettstaden til arXiv, der studien om nysgjerrigheitsdriven red teaming er publisert: arXiv.
Utforsk hovuddomenet til den omtalte open-kjeldemodellen, LLaMA, for meir innsikt i AI-modellar og deira kapabilitetar: Hugging Face (under føresetnad om at LLaMA2 er tilknytt Hugging Face-fellesskapet).
Ha i minnet at når nye metodar som nysgjerrigheitsdriven kritisk testutvikling utviklar seg, er det nødvendig med kontinuerleg forsking og diskusjon innan AI-sikkerheitsfellesskapet for å finpussa og forbetra desse teknikkane for framgang og tryggleik for AI-system.
The source of the article is from the blog windowsvistamagazine.es