Egy belső bemutató kiszivárgott hangfelvétele rávilágított arra, hogy a Microsoft generatív AI eszköze, a Security Copilot milyen nehézségekkel küzd a pontos válaszok nyújtásában. A bemutató során beszéltek a „fenyegetésvadász” tesztek eredményeiről, ahol az AI elemzést végzett egy Windows biztonsági naplón a potenciálisan káros tevékenységek azonosítása érdekében. Egy Microsoft kutató szerint az eszköz gyakran „hallucinált” hibás válaszokat, ami megbízható információhoz való hozzáférést nehezített. A technológia képességeinek bemutatásához a Microsoftnak olyan példákat kellett kiválasztania, amelyek pontosnak tűntek, mivel az AI a stochasztikus jellege miatt különböző válaszokat generált ugyanarra a kérdésre.
A Security Copilot hasonlóan működik, mint egy chatbot, ügyfélszolgálati képviselő stílusában ad válaszokat. Az OpenAI GPT-4 nagy nyelvi modelljére támaszkodik, amely az Microsoft más generatív AI alkalmazásainak, mint például a Bing Search assistant, működtetése is. A kiszivárgott hangfelvétel szerint a Microsoft korai hozzáféréssel rendelkezett a GPT-4-hez, és a bemutatók az eszköz lehetséges felhasználási területeinek felfedezését jelentették.
Azonban a kutatók elárulták, hogy az AI gyakran adott helytelen válaszokat korábbi iterációinál. Az „hallucináció” jelensége, amikor az AI válaszokat generál a lekérdezéstől függetlenül, komoly kihívást jelentett. A Microsoft megpróbálta kezelni ezt a problémát azzal, hogy valós adatokkal „támasztotta meg” az AI-t, de a Security Copilot esetében a használt nagy nyelvi modell, a GPT-4, nem volt kifejezetten kiképezve a kiberbiztonsági adatokra. Ehelyett a modell egy általános, nagy adatkészletre támaszkodott.
Nem világos, hogy a Microsoft ezeket az állítólagosan pontokat a kormány és potenciális ügyfelek elé tárták-e, vagy a vállalat átlátható volt a válogatási folyamat terén. A Microsoft kijelentette, hogy a találkozón tárgyalt technológia az Security Copilot előző szériája volt, és a nyilvános adatkészletekből létrehozott szimulációkon tesztelték, ügyféladatokat nem használtak.
Ez a kiszivárgás kérdéseket vet fel a generatív AI-eszközök megbízhatóságával és pontosságával kapcsolatban, különösen a kiberbiztonság olyan kritikus területeit tekintve. További kutatási és fejlesztési erőfeszítések szükségesek a „hallucinációk” megszüntetéséhez és ezek az AI rendszerek teljesítményének javításához.
The source of the article is from the blog scimag.news