人工智能（AI）已经在各个领域展现出强大的作用，但最新的发现表明，它可能被滥用以开发自我增强的恶意软件，以逃避传统的检测方法。大型语言模型（LLMs）用于AI工具的源代码可以被操纵，从而使其能够绕过安全系统。
网络安全公司Recorded Future的一份报告强调了生成式AI逃避基于字符串的YARA规则的潜力，这些规则用于检测恶意软件。通过修改小型恶意软件变种的代码，LLM生成的代码可以降低检测率，使安全系统更难以识别和阻止恶意软件。这一发现强调了AI技术在威胁行为者手中可能带来的令人担忧的可能性。
在研究人员开展的实验中，一款名为STEELHOOK的恶意软件与其YARA规则一起提交给了一个LLM。目标是以一种既确保其功能同时又能逃避检测的方式修改恶意软件的源代码。LLM生成的代码成功地绕过了简单基于字符串的YARA规则，展示了AI在逃避网络安全措施方面的潜在利用。
然而，这种方法存在一些限制。AI模型一次能够处理的文本量有限，这使得在较大的代码库上操作变得具有挑战性。尽管存在这一限制，生成式AI在网络威胁中的使用范围远远超出了逃避检测。
生成式AI工具也可用于创建深度伪造，这是使用人工智能算法创建的合成媒体，通过操纵或替换个人的样貌。这引起了对更大规模模拟和模仿合法网站影响行动的担忧。此外，生成式AI可以通过解析和丰富公共图像、视频和航拍图像来加速对关键基础设施设施进行的侦察工作，从中提取有价值的元数据，为后续攻击提供战略情报。
为了减少由AI驱动威胁带来的风险，建议组织仔细审查以及消毒展示敏感设备的公开图像和视频。必要时，这些内容应该被彻底审查和消毒以防止潜在利用。
值得注意的是，AI模型本身也可能成为攻击目标。最近的研究显示，LLM驱动的工具可以被越狱，从而制造有害内容。例如，通过传递包含敏感词组的ASCII艺术输入，可以绕过安全措施并操纵LLMs执行不受欢迎的操作。这种实际攻击被称为ArtPrompt，强调了加强安全措施以保护AI模型免受操纵和滥用的重要性。
通过这些发展，很明显，AI在网络安全领域发挥着越来越重要的作用。随着AI的能力不断提升，对于组织和个人来说，及时了解新兴威胁并采取积极的安全措施至关重要。
The source of the article is from the blog myshopsguide.com