Microsoft AI Raudonoji Komanda lyderiauja revoliucijoje raudonųjų komandų strategijose, pasitelkdama AI automatizavimo galios. Skirtingai nei tradiciniai raudonųjų komandų požiūriai, kurie susitelkia į saugumo rizikos vertinimą klasikiniuose programinės įrangos arba AI sistemose, raudonųjų komandų generatyvios AI sistemos susijungia vertindamos tiek saugumo, tiek atsakingos AI rizikas vienu metu. Šis inovatyvus požiūris kelia kelią platesniam ir efektyvesniam raudonųjų komandų praktikų naudojimui.
Vienas iš pagrindinių iššūkių raudonųjų komandų generatyvios AI sistemoms yra šių sistemų tikimybinės prigimties specifika. Skirtingai nei senesni programinės įrangos sistemos, kuriose pakartotinis tos pačios atakos kelias duotų panašius rezultatus, generatyvios AI sistemos pasižymi aukštu nedeterminizmo lygiu. Tai reiškia, kad tas pats įvesties duomenys gali sukurti įvairias ir nenumatytas išvestis. Norint įveikti šį iššūkį, Microsoft AI Raudonoji Komanda sukūrė PyRIT platformą, kuri automatizuoja kartotinus veiksmus ir teikia saugumo specialistams būtiniausius įrankius nustatyti galimas pažeidžiamybes ir jas išsamiai ištirti.
Generatyvių AI sistemų architektūra labai skiriasi, nuo atskirų programų skirtų taikyti atskirai iki integravimų į esamas programas, skirtingais formatais tokius kaip tekstas, garso įrašai, nuotraukos ir vaizdo įrašai. Ši įvairovė kelia reikšmingą iššūkį rankiniam raudonųjų komandų tyrimui. Microsoft AI Raudonoji Komanda pripažįsta poreikį efektyviam ir optimizuotam vertinimo metodui, skirtam spręsti šias sudėtingas problemas.
Norint įveikti šiuos iššūkius, „Microsoft“ pristatė naują įrankių rinkinį, specialiai sukurtą raudonųjų komandų generatyvioms AI sistemoms. Šis įrankių rinkinys pasitelkia AI Raudonosios Komandos ekspertų žinias kartu su ištekliais iš visos „Microsoft“ organizacijos, tokių kaip Atsakingos AI tarnyba ir Teisingumo centras „Microsoft Research“. Kombinuodama žmogaus srities žinias su AI automatizavimu, šis įrankių rinkinys leidžia saugumo specialistams efektyviau aptikti ir mažinti riziką generatyvios AI sistemose.
Išvadai: „Microsoft“ AI Raudonoji Komanda yra priešakyje, revoliucionuojant raudonosios komandos strategijas naudojant AI automatizavimą. Jų inovatyvus požiūris, kartu su PyRIT plėtote ir naują įrankių rinkiniu, nustato naująją standartą vertinant saugumo ir atsakingos AI rizikas generatyvios AI sistemose. Šia inovatyvia veikla „Microsoft“ padeda įmonėms ir organizacijoms etiškai inovuoti su AI, tuo pačiu apsaugodama nuo galimų grėsmių.
The source of the article is from the blog elektrischnederland.nl