인공지능(AI)은 언어 처리부터 이미지 인식까지 다양한 분야에서 강력한 도구로 입증되었습니다. 그러나 최근 연구 결과에 따르면 AI 기반 도구에서 활용되는 대규모 언어 모델(LLMs)은 전통적인 탐지 방법을 우회하는 자체 강화 악성 코드 개발에 악용될 수 있다는 것을 시사합니다.
사이버 보안 기업 Recorded Future의 보고서에 따르면 생성 AI는 소규모 악성 코드 변형에 소스 코드를 변경하여 룰 기반 탐지 메커니즘을 우회할 수 있는 잠재력이 있습니다. 이 조작은 탐지률을 낮춰 보안 시스템이 해당 악성 소프트웨어를 식별하고 중지하는 것을 더 어렵게 만들어 줍니다. 이러한 발견은 레드팀 연습을 통해 도출되었으며, 위협 요소들 손에 있는 AI 기술의 우려되는 가능성을 강조합니다.
실험에서 연구자들은 APT28 해킹 그룹과 관련된 STEELHOOK라는 악성 코드를 LLM과 해당 YARA 규칙과 함께 제출했습니다. 목표는 감지를 회피하면서도 기능성을 유지하는 방식으로 악성 코드의 소스 코드를 수정하는 것이었습니다. LLM이 생성한 코드가 간단한 룰 기반 YARA 규칙을 성공적으로 우회하여 AI가 사이버 보안 수단을 회피하는 것의 가능성을 입증했습니다.
그러나 이 방법에는 제약이 있습니다. AI 모델이 한 번에 처리할 수 있는 텍스트 양에 제한이 있어 큰 코드 기반에서 작업하기 어렵습니다. 그러나 이 제약에도 불구하고, generative AI의 사용은 탐지를 회피하는 것을 넘어 사이버 위협에 활용 가능함을 보여줍니다.
악성 코드를 조작하는 같은 AI 도구는 수사 관리자 및 지도자들을 모방하는 딥페이크를 만드는 데도 활용될 수 있습니다. 이는 대규모적인 사칭과 합법적인 웹 사이트를 가장하는 영향작업에 대한 우려를 더합니다. 또한, generative AI는 비행시설에 대한 공격을 목표로 한 위협 주체에게 정찰 노력을 가속화하는 능력이 있습니다. 공공 이미지, 비디오 및 항공 이미지를 구문 분석하고 관련 데이터를 추출하여 후속 공격을 위한 전략 정보를 제공합니다.
AI-주도 위협으로 인한 위험을 완화하기 위해 조직은 민감한 장비를 묘사하는 공개적으로 접근 가능한 이미지와 비디오를 정기적으로 심사해야 합니다. 필요한 경우 해당 콘텐츠를 철저히 검토하고 악용 가능성을 방지하기 위해 살균해야 합니다. 또한, AI 모델을 변조와 남용으로부터 보호하기 위해 격렬한 보안 조치를 시행해야 합니다.
AI 기술의 오용에 주로 초점이 맞춰져 있지만, AI 모델 자체를 대상으로 할 수 있다는 점을 유의해야 합니다. 최근 연구 결과에 따르면 LLM 기반 도구가 jailbreak될 수 있어 해로운 콘텐츠를 생성할 수 있습니다. 예를 들어, 민감한 구문을 포함하는 ASCII 아트 입력을 전달하면 안전 조치가 우회되어 LLM이 원치 않는 작업을 수행하게 만들 수 있습니다. ArtPrompt라고 알려진 이 실용적인 공격은 AI 모델을 변조와 남용으로부터 보호하기 위한 강화된 보안 조치의 필요성을 강조합니다.
이러한 발전을 고려할 때 AI가 사이버 보안 분야에서 점점 더 중요한 역할을 하고 있음을 명백하게 인식해야 합니다. AI의 능력이 계속해서 진화함에 따라 조직과 개인은 신생하는 위협에 대해 정보를 지속적으로 습득하고 적극적인 안전 조치를 채택해야 합니다.
The source of the article is from the blog macholevante.com