Uniklý zvukový záznam interní prezentace odhalil, že generativní nástroj umělé inteligence Security Copilot od společnosti Microsoft má problémy s poskytováním přesných odpovědí. Prezentace se zabývala výsledky „lovce hrozeb“ testů, kdy umělá inteligence analyzovala záznam o bezpečnosti systému Windows a hledala možnou škodlivou aktivitu. Podle výzkumníka z Microsoftu se nástroj často „blouděním mysli“ generoval nesprávné odpovědi, což ztěžovalo získání spolehlivých informací. Aby společnost Microsoft ukázala schopnosti nástroje, musela vybrat příklady, které vypadaly přesné, protože umělá inteligence generovala různé odpovědi na stejnou otázku z důvodu své stochastické povahy.
Security Copilot funguje podobně jako chatbot a poskytuje odpovědi ve stylu zákaznického servisu. Spoléhá se na rozsáhlý jazykový model GPT-4 od společnosti OpenAI, který také napájí další generativní aplikace umělé inteligence společnosti Microsoft, jako je asistent Bing Search. Z uniklého zvukového záznamu vyplývá, že Microsoft měl předběžný přístup k GPT-4 a předvedené ukázky byly prvními průzkumy jeho potenciálu.
Výzkumníci však odhalili, že umělá inteligence často generovala nesprávné odpovědi během svých raných iterací. Jejím hlavním problémem bylo jev nazvaný bloudění mysli, kdy umělá inteligence generovala odpovědi nesouvisející s danou otázkou. Microsoft se pokusil tento problém řešit zakotvením umělé inteligence v reálných datech, ale pro Security Copilot nebyl použit speciálně školený LLM (velký jazykový model) GPT-4 zaměřený na kybernetická bezpečnost. Místo toho se spoléhal na svou rozsáhlou obecnou databázi.
Není jasné, zda Microsoft tyto vybrané příklady představil vládě a potenciálním zákazníkům nebo zda společnost byla transparentní ohledně výběrového procesu. Microsoft uvedl, že technologie diskutovaná na schůzce byla vyvinuta před Security Copilot a byla testována na simulacích vytvořených z veřejných datových sad, přičemž nebyla použita žádná zákaznická data.
Tento únik vyvolává otázky ohledně spolehlivosti a přesnosti generativních nástrojů umělé inteligence, zejména v kritických oblastech jako je kybernetická bezpečnost. Je třeba provést další výzkum a vývojové úsilí, aby se eliminovale bloudění mysli a zlepšila výkonnost těchto systémů umělé inteligence.
The source of the article is from the blog enp.gr