Microsoft’s AI Red Team leidt een revolutie in rode teamstrategieën door de kracht van AI-automatisering te benutten. In tegenstelling tot traditionele rode teambenaderingen, die zich richten op het evalueren van beveiligingsrisico’s in klassieke software of AI-systemen, omvat het testen van generatieve AI-systemen het gelijktijdig beoordelen van zowel beveiligings- als verantwoorde AI-risico’s. Deze baanbrekende aanpak baant de weg voor meer uitgebreide en effectieve rode teampraktijken.
Een van de belangrijkste uitdagingen bij het testen van generatieve AI-systemen is de probabilistische aard van deze systemen. In tegenstelling tot oudere softwaresystemen waarbij het herhalen van hetzelfde aanvalspad vergelijkbare resultaten zou opleveren, vertonen generatieve AI-systemen een hoog niveau van nondeterminisme. Dit betekent dat dezelfde invoer diverse en onverwachte uitvoer kan opleveren. Om deze uitdaging aan te gaan, heeft Microsoft’s AI Red Team een framework genaamd PyRIT ontwikkeld, dat repetitieve activiteiten automatiseert en beveiligingsprofessionals voorziet van essentiële tools om potentiële kwetsbaarheden te identificeren en grondig te onderzoeken.
De architectuur van generatieve AI-systemen varieert aanzienlijk, van op zichzelf staande toepassingen tot integraties in bestaande toepassingen, en over verschillende modaliteiten zoals tekst, audio, foto’s en video’s. Deze diversiteit vormt een aanzienlijke uitdaging voor handmatige rode teamonderzoeken. Microsoft’s AI Red Team erkent de behoefte aan efficiënte en gestroomlijnde beoordelingsmethodologieën om deze complexiteiten aan te pakken.
Om deze uitdagingen aan te pakken, heeft Microsoft een nieuwe toolkit gelanceerd die specifiek is ontworpen voor het testen van generatieve AI-systemen. Deze toolkit maakt gebruik van de expertise van het AI Red Team, samen met middelen uit heel Microsoft, zoals het Office of Responsible AI en het Fairness Center bij Microsoft Research. Door menselijke domeinkennis te combineren met AI-automatisering, stelt de toolkit beveiligingsprofessionals in staat om op effectievere wijze risico’s in generatieve AI-systemen te detecteren en te beperken.
Tot slot loopt het AI Red Team van Microsoft voorop in het revolutioneren van rode teamstrategieën met AI-automatisering. Hun innovatieve aanpak, in combinatie met de ontwikkeling van PyRIT en de nieuwe toolkit, stelt een nieuwe norm vast voor het beoordelen van beveiligings- en verantwoorde AI-risico’s in generatieve AI-systemen. Met dit baanbrekende werk helpt Microsoft bedrijven en organisaties ethisch innoveren met AI, terwijl ze zich beschermen tegen potentiële bedreigingen.
The source of the article is from the blog macholevante.com