Here Comes The AI Worm: Unleashing Zero-click Worms that Target GenAI-Powered Applications

在过去的一年中，许多公司将生成式人工智能（GenAI）功能纳入新的和现有的应用程序中，形成了由GenAI服务驱动的半/全自主代理组成的互联的生成式人工智能（GenAI）生态系统。虽然持续的研究强调了与代理的GenAI层相关的风险（例如，对话污染、成员推断、提示泄露、越狱），但一个关键问题出现了：攻击者能否开发恶意软件来利用代理的GenAI组件，并对整个GenAI生态系统发动网络攻击？本文介绍了Morris II，这是第一个通过使用对抗性自我复制提示来针对GenAI生态系统的蠕虫。研究表明，攻击者可以将这些提示插入到输入中，当GenAI模型处理这些输入时，提示模型将输入复制为输出（复制），并从事恶意活动（有效载荷）。此外，这些输入迫使代理将它们（传播）传递给新的代理，利用GenAI生态系统内的连接。我们展示了Morris II针对两个用例（垃圾邮件和窃取个人数据）中的GenAI驱动的电子邮件助手的应用，分别在两个设置（黑盒和白盒访问）下，使用两种类型的输入数据（文本和图像）。该蠕虫已经针对三种不同的GenAI模型（Gemini Pro，ChatGPT 4.0和LLaVA）进行了测试，并评估了影响蠕虫性能的各种因素（例如，传播率、复制、恶意活动）。

本论文旨在探讨攻击者是否可以利用生成对抗网络（GAN）来攻击GenAI生态系统，以及如何实现这种攻击。

本文提出了一种名为Morris II的蠕虫，利用对抗性自我复制提示来攻击GenAI生态系统，通过利用GenAI模型中的输入复制和传播机制，向新代理传播恶意输入。

本文在两种情况下测试了Morris II蠕虫的性能：黑盒和白盒访问，并使用文本和图像两种类型的输入数据测试了三种不同的GenAI模型。实验结果表明，攻击者可以利用GAN攻击整个GenAI生态系统，导致恶意行为如垃圾邮件和个人数据泄露。

在相关研究方面，最近的一些研究包括GAN攻击和防御方法，以及GenAI模型的安全性问题。