DataSentinel: A Game-Theoretic Detection of Prompt Injection Attacks

集成大型语言模型（LLM）的应用程序和代理容易受到提示注入攻击的影响，这种攻击中，攻击者通过向输入中注入特定提示来诱导生成符合其意图的输出。检测方法的目标是判断给定输入是否被注入的提示所污染。然而，现有的检测方法对最先进的攻击效果有限，更不用说适应性攻击了。在本工作中，我们提出了 DataSentinel，一种基于博弈论的提示注入攻击检测方法。具体而言，DataSentinel 通过微调 LLM 来识别那些经过战略性调整以逃避检测的污染输入。我们将此问题形式化为一个极小极大优化问题，目标是微调 LLM 以检测强大的适应性攻击。此外，我们提出了一种基于梯度的方法，通过交替解决内部极大问题和外部极小问题来求解该优化问题。我们在多个基准数据集和 LLM 上的评估结果表明，DataSentinel 能够有效检测现有攻击和适应性提示注入攻击。

论文试图解决LLM-integrated应用和代理面临的提示注入攻击问题，这种攻击通过在输入中注入恶意提示，诱导模型生成攻击者期望的输出。现有检测方法对高级或自适应攻击效果有限，因此需要一种更有效的检测机制。

论文提出了一种基于博弈论的方法DataSentinel，通过将LLM微调为能够检测被注入提示污染的输入，并针对战略性规避检测的攻击进行优化。该方法将问题形式化为一个minimax优化问题，交替解决内部最大化（模拟攻击者）和外部最小化（优化检测器）问题，从而提高对强自适应攻击的检测能力。

1. 提出了梯度驱动的minimax优化求解方法，用于训练检测器；2. 在多个基准数据集和LLM上进行了评估，验证了对现有及自适应攻击的有效性；3. 方法具有较强的泛化能力，可以应对未知的攻击模式；4. 尽管未明确提及代码开源，但实验设计详细，提供了进一步研究的基础；5. 值得深入研究的方向包括如何扩展到多语言场景以及结合主动学习提升效率。

相关研究包括：1. 'Detecting and Mitigating Prompt Injection Attacks in Large Language Models'，探讨了提示注入的基本原理和初步防御策略；2. 'Adversarial Examples in Natural Language: An Overview'，综述了自然语言处理中的对抗样本问题；3. 'Game-Theoretic Approaches for Robust Machine Learning'，研究了博弈论在增强机器学习鲁棒性中的应用；4. 'Fine-Tuning Language Models for Security Applications'，讨论了微调语言模型以解决安全问题的技术路径。