Agent Smith: A Single Image Can Jailbreak One Million Multimodal LLM Agents Exponentially Fast

这篇文章介绍了一种多模态大语言模型（MLLM）代理，它可以接收指令、捕捉图像、从记忆中检索历史记录并决定使用哪些工具。然而，红队测试表明，对抗性图像/提示可以越狱MLLM并导致不对齐的行为。在这项工作中，我们报告了多代理环境中更严重的安全问题，称为传染性越狱。它涉及到对手简单地越狱一个单一代理，而无需进一步干预，（几乎）所有代理将以指数速度被感染并表现出有害行为。为了验证传染性越狱的可行性，我们模拟了包含多达一百万个LLaVA-1.5代理的多代理环境，并采用随机成对聊天作为多代理交互的概念证明实例。我们的结果表明，向任意选择的代理的内存中输入（传染性）对抗性图像就足以实现传染性越狱。最后，我们得出了一个简单的原则，用于确定防御机制是否能够证明抑制传染性越狱的传播，但如何设计符合这个原则的实际防御仍然是一个需要研究的开放问题。我们的项目页面可在https://sail-sg.github.io/Agent-Smith/上找到。

本论文旨在探讨多智能体环境中的安全问题，特别是感染性越狱问题。研究人员试图证明，通过向单个智能体的内存中输入恶意图像，可以迅速感染整个智能体系统并导致危险行为。

该论文的关键思路是证明感染性越狱的存在，并提出一种简单的原则来确定防御机制是否能够有效遏制感染性越狱。

论文使用了多智能体模拟环境，证明了感染性越狱的可行性，并提出了一种简单的原则来判断防御机制的有效性。但是如何设计实际的防御机制仍然是一个开放性问题。

最近的相关研究包括对多智能体环境中的安全问题的研究，以及对人工智能系统中的对抗性攻击的研究。