Lessons from Defending Gemini Against Indirect Prompt Injections

Gemini 越来越被用于为用户执行任务，其中函数调用和工具使用能力使该模型能够访问用户数据。然而，某些工具需要访问不可信的数据，这带来了风险。对手可以将恶意指令嵌入到不可信的数据中，导致模型偏离用户的预期，从而错误处理其数据或权限。在本报告中，我们介绍了谷歌 DeepMind 在评估 Gemini 模型对抗鲁棒性方面的方法，并总结了从这一过程中获得的主要经验教训。我们通过一个对抗评估框架测试 Gemini 在面对 sophisticated（复杂且有针对性的）对手时的表现，该框架部署了一系列自适应攻击技术，持续针对 Gemini 的过去版本、当前版本以及未来版本进行测试。我们还详细说明了这些持续的评估如何直接帮助 Gemini 提高对操纵行为的抵御能力。

论文试图解决Gemini模型在使用功能调用和工具时可能因接触不可信数据而产生的安全问题，特别是如何防止恶意指令嵌入导致模型偏离用户预期。这是一个与模型安全性相关的重要问题，尤其是在大模型逐渐接入外部工具和数据的背景下。

论文提出了一种持续性的对抗性评估框架，通过部署一系列自适应攻击技术，对Gemini模型的过去、当前及未来版本进行测试，以评估其对抗复杂敌手的能力。相比传统的静态测试方法，这种方法更动态且能更好地模拟真实世界中的攻击场景。

1. 论文设计了一个复杂的对抗性评估框架，能够不断进化以适应新版本模型；2. 使用了多种实际场景下的攻击技术，验证模型在真实环境中的鲁棒性；3. 没有明确提到具体数据集或开源代码，但强调了评价过程对提升Gemini安全性的直接作用；4. 值得进一步研究的方向包括如何将这种评估框架扩展到其他模型，以及如何减少模型对不可信数据的敏感性。

最近的相关研究包括：1. 'Evaluating and Enhancing the Adversarial Robustness of Large Language Models' - 探讨了大规模语言模型的对抗鲁棒性；2. 'Toolbench: A Framework for Evaluating AI Agents in Real-World Tasks' - 提供了一个用于评估AI代理在真实任务中表现的框架；3. 'Adversarial Attacks on Function-Centric LLMs' - 研究了针对功能导向型大语言模型的对抗攻击方法。