인공지능(AI)은 언어 처리부터 이미지 인식까지 다양한 분야에서 강력한 도구로 증명되었습니다. 그러나 최근 연구 결과에 따르면 AI로 구동되는 도구에서 사용되는 대형 언어 모델(LLM)을 이용하여 전통적인 탐지 방법을 우회하는 자가 증식 악성 코드를 개발할 수 있다는 사실이 나타났습니다.
Recorded Future 사의 사이버 보안 기업이 발표한 보고서에 따르면, 생성적 AI는 소규모 악성 코드의 소스 코드를 변경함으로써 문자열 기반 YARA 규칙을 우회할 수 있는 잠재력을 가지고 있습니다. 이런 조작은 탐지율을 낮춰 보안 시스템이 이러한 악의적인 소프트웨어를 식별하고 중지하는 것을 더욱 어렵게 만듭니다. 이 발견은 레드 팀 연습에서 나온 것이었지만, AI 기술이 위협 주체의 손에 있을 때의 우려스러운 가능성을 강조하고 있습니다.
연구에서 연구진들은 APT28 해킹 그룹과 관련된 STEELHOOK이라는 맬웨어와 그 YARA 규칙을 함께 LLM에 제출했습니다. 목표는 탐지를 회피하면서 기능성을 유지하는 방식으로 맬웨어의 소스 코드를 수정하는 것이었습니다. 그 결과, LLM에서 생성된 코드가 단순한 문자열 기반 YARA 규칙을 성공적으로 우회하여 AI가 사이버 보안 수단을 우회하는 데에 있어서 가능성을 보여주었습니다.
그러나 이 방법에는 제약이 있습니다. AI 모델이 한 번에 처리할 수 있는 텍스트 양에는 한계가 있어 더 큰 코드 베이스에서 작업하기가 어려워집니다. 그럼에도 불구하고, 생성적 AI의 사용은 사이버 위협에서 탐지를 회피하는 데 그치지 않습니다.
메모리 콘텐츠
생성적 AI 도구는 임원과 리더를 흉내 내는 딥페이크를 만드는 데 사용할 수도 있습니다. 이는 대규모로 위장을 하는 것과 합법적인 웹 사이트를 모방하는 영향 작전의 가능성을 불러일으킵니다. 더불어, 생성적 AI는 공개 이미지, 비디오, 항공 이미지를 파싱하고 풍부한 메타데이터를 추출하여 주요 인프라 시설을 공격하기 위한 전략적 인텔리전스를 제공하여 타격의 정찰 노력을 가속화할 수 있습니다.
이러한 AI 주도 협회들이 야기하는 위험에 대비하기 위해서 기관들은 민감 장비를 묘사하는 공개 이미지와 비디오를 면밀하게 검토하고 살균하여 잠재적인 악용 가능성을 최소화하는 것이 권고됩니다.
AI 기술의 오용에 주로 초점이 맞춰져 왔지만, AI 모델 자체도 공격 대상이 될 수 있다는 점을 주목할 가치가 있습니다. 최근 연구 결과에 따르면, LLM으로 구동되는 도구들이 탈옥될 수 있어 해로운 콘텐츠를 생성할 수 있습니다. 예를 들어, 민감한 문구가 포함된 ASCII 아트 입력을 전달함으로써, LLM의 안전 조치를 우회하고 원치 않는 작업을 수행하게 할 수 있습니다. 이를 이용한 공격인 ArtPrompt는 AI 모델이 악용과 오용으로부터 보호되어야 한다는 보다 강화된 보안 조치의 필요성을 강조하고 있습니다.
이러한 발전을 고려할 때, AI가 보안 분야에서 점점 더 중요한 역할을 하고 있음이 분명합니다. AI의 능력이 계속해서 진보해 나가는 가운데, 조직과 개인들은 부상하는 위협에 대해 정보를 습득하고 적극적인 보안 조치를 채택할 필요가 있습니다.
**자주 묻는 질문**
**생성적 AI란 무엇인가요?**
생성적 AI는 기계가 새롭고 독창적인 콘텐츠를 생성할 수 있도록 하는 인공지능 기술의 적용을 말합니다. 예술, 음악 및 이제는 보안 분야를 포함한 여러 산업에서 널리 활용되고 있습니다.
**YARA 규칙이란 무엇인가요?**
YARA 규칙은 맬웨어 탐지에 사용되는 텍스트 패턴 세트입니다. 특정 특성과 지표에 근거하여 맬웨어를 식별하고 분류하도록 보안 시스템에 사용됩니다.
**딥페이크란 무엇인가요?**
딥페이크는 인공지능 알고리즘을 사용하여 만들어진 합성 미디어로, 주로 비디오를 통해 개인의 외모를 조작하거나 대체합니다. 이러한 AI 생성 비디오는 종종 속임수적이거나 부정확한 표현으로 이어질 수 있습니다.
**기관은 AI 주도 협회들이 야기하는 위험을 어떻게 완화할 수 있나요?**
AI 주도 협회들이 야기하는 위험을 완화하기 위해서, 기관들은 정기적으로 민감 장비를 묘사하는 공개 이미지 및 비디오를 면밀히 조사하고, 필요한 경우 해당 콘텐츠를 철저히 검토하고 살균하여 악용 가능성을 최소화해야 합니다. 추가적으로, AI 모델이 잠재적인 조작과 오용으로부터 보호받을 수 있는 강력한 보안 조치가 시행되어야 합니다.
The source of the article is from the blog combopop.com.br