Утечен аудио запис от вътрешна презентация разкри проблемите на генеративния AI инструмент на Microsoft, Security Copilot, с предоставянето на точни отговори. Презентацията обсъждаше резултатите от „преследване на заплахи“ тестове, при които ИИ анализира Windows сигурности лог за потенциално злонамерена активност. Според изследователи от Microsoft, инструментът често прави „халюцинации“ и дава грешни отговори, което затруднява получаването на надеждна информация. За да демонстрира възможностите на инструмента, Microsoft е трябвало да избира примери, които изглеждаха точни, тъй като ИИ генерираше различни отговори за един и същи въпрос, заради стохастичната му природа.
Security Copilot функционира подобно на чатбот, предоставяйки отговори в стил на представител на клиентската услуга. За целта използва голям модел за език GPT-4 на OpenAI, който също се използва в други приложения на Microsoft, като помощникът за търсене в Bing. Утеченото аудио подсказва, че Microsoft имаше предварителен достъп до GPT-4 и демонстрациите бяха първоначални разсъждения за неговия потенциал.
Въпреки това, изследователите откриха, че по време на ранните му итерации ИИ често даваше грешни отговори. Феноменът на халюцинацията, когато ИИ генерира отговори, несвързани със заявката, беше основен предизвикателство. Microsoft се опита да се справи с този проблем, основавайки ИИ на реални данни, но за Security Copilot използваният голям модел за език GPT-4 не беше специално обучен в киберсигурност. Вместо това се основаваше на голям, общ датасет.
Неясно е дали Microsoft представи тези избрани примери на правителството и потенциални клиенти или компанията беше прозрачна относно процеса на избор. В Microsoft заявиха, че технологията, обсъдена на срещата, предшестваше Security Copilot и бе тествана на симулации, създадени от публични данни, като не се използват данни на клиенти.
Тази утечка предизвиква въпроси относно надеждността и точността на генеративните AI инструменти, особено в критични области като киберсигурност. Необходими са допълнителни изследвания и разработки, за да се отстрани халюцинациите и да се подобри производителността на тези ИИ системи.
The source of the article is from the blog aovotice.cz