Izplūdis audioieraksts no iekšējās prezentācijas ir atklājis informāciju par Microsoft ģeneratīvā AI rīka Security Copilot un tā grūtībām nodrošināt precīzas atbildes. Prezentācijā tika apspriesti “draudu meklētāja” testu rezultāti, kur AI analizēja Windows drošības žurnālu, lai atrastu potenciāli kaitīgu darbību. Pēc Microsoft pētnieka teiktā rīks bieži vien “halucinēja” nepareizas atbildes, padarot uzticamu informācijas iegūšanu sarežģītu. Lai demonstrētu rīka spējas, Microsoft bija izvēlējies konkrētus piemērus, kas likās precīzi, jo AI ģenerēja dažādas atbildes uz vienu jautājumu tās stohastiskās dabas dēļ.
Security Copilot darbojas līdzīgi kā čatbota, sniedzot atbildes klientu apkalpošanas pārstāvja stilā. Tas balstās uz OpenAI GPT-4 lielo valodas modeļu, kas izmanto arī Microsoft citus ģeneratīvos AI lietojumprogrammas, piemēram, Bing meklēšanas asistentu. Izplūdusī audioieraksts liecina, ka Microsoft prezentācijā bija agrīna piekļuve GPT-4, un demonstrācijas bija sākotnējas izpētes par tā potenciālu.
Tomēr pētnieki atklāja, ka AI bieži vien radīja nepareizas atbildes savos agrīnajos posmos. Halucināciju fenomens, kur AI ģenerē atbildes, kas nav saistītas ar jautājumu, bija liela problēma. Microsoft mēģināja atrisināt šo problēmu, pamatojot AI ar reāliem datiem, bet drošības rīkam Security Copilot LLM (lielais valodas modelis), GPT-4, netika specifiski apmācīts ar kiberdrošības datiem. Tā vietā tas paļāvās uz savu lielo, vispārējo datu kopu.
Nav skaidrs, vai Microsoft prezentēja šos izvēlētos piemērus valsts iestādēm un potenciālajiem klientiem vai vai uzņēmums bija pārredzams par atlases procesu. Microsoft apgalvoja, ka tehnoloģija, kas tika apspriesta tikšanās laikā, bija iepriekšējā Security Copilot versija un tā tika pārbaudīta simulācijās, kas izveidotas no publiskiem datu kopumiem, neizmantojot klientu datus.
Šīgana plūsma rada jautājumus par ģeneratīvo AI rīku uzticamību un precizitāti, it īpaši kritiskās jomās, piemēram, kiberdrošībā. Nepieciešami papildu pētniecības un attīstības centieni, lai izslēgtu halucinācijas un uzlabotu šo AI sistēmu veiktspēju.
The source of the article is from the blog toumai.es