I et modigt forsøg på at reducere risikoen for, at kunstig intelligens (AI) systemer producerer skadelige, diskriminerende eller giftige svar, har videnskabsfolk vendt sig til en utraditionel metode: at bruge AI selv til at udfordre systemet. Denne nye træningsteknik kaldes nysgerrighedsdrevet rød teaming (CRT), og den involverer brugen af AI til at udforme en række potentielt farlige eller skadelige anmodninger, som man kunne stille til en AI chatbot.
Forbedring af AI’s indholdsmoderering gennem innovative træningsmetoder
Disse udformede anmodninger spiller en vigtig rolle, da de anvendes til at finjustere systemets evne til at filtrere indhold. Ifølge nylige fund offentliggjort i en undersøgelse på arXiv den 29. februar, mener forskere, at denne opdagelse kan ændre markant måden, AI’er programmeres til ikke at give giftige svar på brugerforespørgsler.
I den traditionelle proces kendt som “rød teaming,” udarbejder menneskelige operatører typisk en række undersøgende spørgsmål, der potentielt kunne fremkalde skadelige svar, såsom spørgsmål om de bedste metoder til selvskade. Denne standardprocedure er derefter afgørende for at instruere systemet i, hvilket indhold der skal begrænses, når det interagerer med brugere i den virkelige verden.
Automatiseret Rød Teaming Overgår Manuelle Metoder
Studiet implementerede maskinlæring i rød teaming ved at opsætte AI’en til automatisk at generere et bredere udsnit af potentielt farlige opgaver end dem, der manuelt kunne konstrueres af menneskelige team. Denne tilgang førte til en stør og mere differentieret vifte af negative svar produceret af AI systemerne under træningen.
Maskinlæringsmodeller, som den anvendte i CRT, er programmeret til at udforske og generere nye opgaver ved at analysere konsekvenserne af tidligere interaktioner, hvilket motiverer systemet til at fremkalde giftige svar med nye ord, sætningsmønstre eller betydninger.
Da CRT-tilgangen blev anvendt på det åbne kildekode-model LLaMA2, genererede AI’en 196 opgaver, der resulterede i skadeligt indhold, på trods af at AI’en tidligere var justeret af menneskelige operatører for at forhindre giftig adfærd. Denne metode overgik også konkurrerende automatiserede træningssystemer og indikerer et nyt område inden for sikkerhed og pålidelighedstræning for AI.
Vigtige Spørgsmål og Svar:
1. Hvad er nysgerrighedsdrevet rød teaming (CRT)?
Nysgerrighedsdrevet rød teaming er en AI-assisteret teknik, hvor et AI-system genererer et bredt udsnit af potentielle forespørgsler, der kunne føre til usikre AI-svar. Systemet lærer at producere disse udfordringer ved at forstå konsekvenserne af tidligere interaktioner.
2. Hvordan adskiller CRT sig fra traditionelle rød-teaming metoder?
Traditionelt rød-teaming er afhængig af menneskelige operatører til at generere undersøgende spørgsmål, mens CRT automatiserer denne proces ved hjælp af AI, som kan skabe en større og mere differentieret række af opgaver.
3. Hvad er de vigtigste udfordringer forbundet med CRT?
En nøgleudfordring er at sikre, at AI’en ikke overtilpasses de fjendtlige eksempler og mister generel ydeevne. En anden bekymring er, at automatiseret rød teaming kunne opdage stadigt mere subtile måder at provokere usikre svar på, hvilket kræver kontinuerlige tilpasninger i modereringssystemerne.
4. Er der nogen kontroverser relateret til CRT?
Potentielle kontroverser kunne opstå på grund af de iboende vanskeligheder med at definere ‘usikkert’ indhold, da hvad der betragtes som skadeligt eller giftigt kan være kulturelt følsomt og kontekstafhængigt. Derudover er der den etiske spørgsmål om at oprette og håndtere et system, hvis formål er at generere potentielt skadeligt indhold.
Fordele og Ulemper:
Fordele ved CRT:
– CRT kan skabe en større og mere varieret række potentielt farlige opgaver end menneskelige rød teams, hvilket forbedrer AI’ens evne til at håndtere forskellige virkelige scenarier.
– Teknikken kan tilpasse sig til udviklingen af sprogbrugsmønstre og forudse nye former for usikkert indhold.
– Ved at træne på en bredere vifte af opgaver kan AI systemer blive mere robuste og mindre tilbøjelige til at producere skadeligt indhold.
Ulemper ved CRT:
– Når AI’en genererer mere avancerede fjendtlige opgaver, er der en risiko for, at det testede AI system kan lære disse skadelige mønstre.
– CRT kræver omhyggelig implementering for at forhindre AI’en i at adoptere umoralsk adfærd.
– At fastlægge den rette balance af fjendtlige udfordringer uden at kompromittere AI’ens samlede ydeevne er en kompleks opgave.
Relaterede Links:
For yderligere kontekst kan læserne besøge den officielle hjemmeside for arXiv, hvor undersøgelsen om nysgerrighedsdrevet rød teaming er offentliggjort: arXiv.
Udforskning af det primære domæne for den omtalte åbne kildekode-model, LLaMA, kan give yderligere indblik i AI-modeller og deres kapaciteter: Hugging Face (forudsat at LLaMA2 er tilknyttet Hugging Face-fællesskabet).
Husk, at når nye metoder såsom nysgerrighedsdrevne fjendtlige test udvikler sig, er kontinuerlig forskning og diskussion inden for AI-sikkerhedsfællesskabet nødvendig for at forfine og forbedre disse teknikker til gavn og sikkerhed for AI-systemer.