내부 프레젠테이션의 유출된 오디오가 마이크로소프트의 생성 인공지능 도구인 Security Copilot과 정확한 답변 제공에 대한 애로사항을 드러냈습니다. 해당 프레젠테이션은 “위협 헌터” 테스트 결과에 대해 논의하였으며, 이 테스트에서 인공지능은 잠재적인 악성 활동을 분석하기 위해 Windows 보안 로그를 분석하였습니다. 마이크로소프트의 연구원에 따르면, 이 도구는 종종 부정확한 응답을 “환각”하며, 신뢰할 수 있는 정보를 얻기가 어려웠습니다. 도구의 능력을 증명하기 위해, 마이크로소프트는 동일한 질문에 대해 생성되는 다른 답변들 때문에 적합해 보이는 예시들을 선택해야만 했습니다.
Security Copilot은 챗봇과 유사한 방식으로 작동하며, 고객 서비스 대표의 스타일로 응답을 제공합니다. 이 도구는 Bing 검색어 도우미와 같은 마이크로소프트의 다른 생성 인공지능 애플리케이션에도 사용되는 OpenAI의 GPT-4 대형 언어 모델을 사용합니다. 유출된 오디오는 마이크로소프트가 GPT-4에 대한 초기 액세스 권한을 가졌으며, 이러한 시연은 잠재력에 대한 초기 탐색이었음을 시사합니다.
하지만 연구자들은 초기 개발 단계에서도 이 인공지능이 종종 부정확한 응답을 생성한다는 것을 밝혔습니다. 인공지능이 쿼리와 무관한 응답을 생성하는 “환각” 현상은 주요한 도전이었습니다. 마이크로소프트는 이 문제를 해결하기 위해 실제 데이터로 인공지능을 지지하려고 시도했지만, Security Copilot에서 사용된 GPT-4 같은 대형 언어 모델은 특별히 사이버 보안 데이터로 훈련되지 않았습니다. 그 대신, 일반적인 대규모 데이터셋을 사용했습니다.
이러한 적합한 예시들이 마이크로소프트에 의해 정부와 잠재적인 고객들에게 제시되었는지 또는 회사가 선택 과정에 대해 투명하게 알렸는지는 분명하지 않습니다. 마이크로소프트는 회의에서 논의된 기술이 Security Copilot 이전의 것이며, 공개 데이터셋에서 생성된 시뮬레이션을 사용하여 테스트되었으며, 고객 데이터는 사용되지 않았다고 설명했습니다.
이 유출은 사이버 보안과 같은 중요한 도메인에서 생성 인공지능 도구의 신뢰성과 정확성에 대한 의문을 제기합니다. 환각을 없애고 이러한 인공지능 시스템의 성능을 향상시키기 위해 추가적인 연구와 개발 노력이 필요합니다.
The source of the article is from the blog yanoticias.es