Security of AI Agents

通过大型语言模型的推动，AI代理的研究和开发得到了提升。AI代理可以作为智能助手，具备访问工具和在其环境中执行命令的能力，代表其用户完成任务。通过研究和体验典型AI代理的工作流程，我们提出了几个关于它们安全性的问题。这些潜在的漏洞既不是用于构建代理的框架所解决的，也不是旨在改进代理的研究所解决的。在本文中，我们从系统安全的角度详细描述了这些漏洞，强调了它们的原因和严重影响。此外，我们介绍了相应于每个漏洞的防御机制，并进行了精心设计和实验以评估其可行性。总的来说，本文将当前AI代理的安全问题置于背景中，并勾勒出使AI代理更安全和可靠的方法。

本论文旨在从系统安全的角度，识别和描述当前人工智能代理中存在的潜在安全漏洞，并提出相应的防御机制，以使AI代理更加安全可靠。

本论文针对当前人工智能代理中存在的安全漏洞，提出了一系列防御机制，包括对话攻击、命令注入攻击、环境篡改攻击等，以保证AI代理的安全性。

本论文的亮点包括：详细描述了AI代理中存在的安全漏洞及其严重影响；提出了一系列具有针对性的防御机制，并进行了实验验证其可行性；对当前AI代理中存在的安全问题进行了全面的探讨和总结。

近期在该领域的相关研究包括：《Towards Evaluating the Robustness of Neural Networks》、《Adversarial Examples in the Physical World》等。