Design Patterns for Securing LLM Agents against Prompt Injections

随着由大语言模型（LLM）驱动的 AI 代理变得越来越多样化，能够处理广泛的任务，确保其安全性已成为一个关键挑战。其中最紧迫的威胁之一是提示注入攻击（prompt injection attacks），这类攻击利用了代理对自然语言输入的处理机制——当代理被授予工具访问权限或处理敏感信息时，这一威胁尤为危险。在本研究中，我们提出了一组基于原则的设计模式，用于构建具备可证明抵御提示注入能力的 AI 代理。我们对这些设计模式进行了系统分析，讨论了它们在实用性与安全性之间的权衡，并通过一系列案例研究展示了其在现实世界中的应用价值。

论文试图解决AI代理在面对提示注入攻击（prompt injection attacks）时的安全性问题，尤其是在代理能够访问工具或处理敏感信息的情况下。这是一个随着大型语言模型（LLMs）广泛应用而变得日益紧迫的新问题。

论文提出了一组基于原则的设计模式，旨在构建对提示注入攻击具有可证明抵抗力的AI代理。其创新点在于将安全机制嵌入到代理的设计架构中，而非依赖后期的补丁式防御措施。

1. 系统性地分析了不同设计模式在安全性和实用性之间的权衡 2. 通过多个案例研究展示了这些模式在现实世界中的可行性与有效性 3. 提出了可形式化验证的安全边界概念 4. 强调了在不显著牺牲模型能力的前提下实现安全性增强的可能性

1. Towards Robustness against Prompt Injection Attacks via Self-Restricted Training 2. PromptGuard: Detecting and Mitigating Prompt Injection in Large Language Models 3. Adversarial Prompt Detection Using Input Sensitivity Analysis 4. SecureAgent: A Framework for Evaluating Security Risks in LLM-based Agents