SecGPT: An Execution Isolation Architecture for LLM-Based Systems

大型语言模型（LLMs）扩展为系统，例如ChatGPT，已经开始支持第三方应用程序。这些LLM应用程序利用了LLMs的事实上的基于自然语言的自动执行范例：也就是说，应用程序及其交互是用自然语言定义的，可以访问用户数据，并被允许自由地相互交互和与系统交互。这些LLM应用程序生态系统类似于早期计算平台的设置，在这些平台上应用程序和系统之间缺乏足够的隔离。由于第三方应用程序可能不可信，并且由于自然语言接口的不精确性而恶化，当前的设计为用户带来了安全和隐私风险。在本文中，我们提出了SecGPT，这是一种基于LLM的系统架构，旨在减轻第三方应用程序执行时出现的安全和隐私问题。SecGPT的关键思想是隔离应用程序的执行，并在其隔离环境之外更精确地调节它们的交互。我们针对多个案例研究攻击评估了SecGPT，并证明它可以防止存在于非隔离LLM系统中的许多安全、隐私和安全问题。SecGPT为提高安全性而产生的性能开销在三分之三的测试查询中低于0.3x。为了促进后续研究，我们在https://github.com/llm-platform-security/SecGPT上发布了SecGPT的源代码。

SecGPT论文试图解决的问题是LLM app生态系统中的安全和隐私问题。这些第三方应用程序可能不可信，与自然语言接口的不确定性结合起来，会给用户带来安全和隐私风险。

SecGPT的关键思路是通过隔离应用程序的执行并在其隔离的环境外更精确地调解它们的交互来缓解LLM app生态系统中的安全和隐私问题。

该论文的亮点包括提出了SecGPT架构来解决LLM app生态系统中的安全和隐私问题，通过一系列案例研究攻击来验证SecGPT的有效性，实验表明SecGPT对于提高安全性所产生的性能开销低于0.3x，并且发布了SecGPT的源代码。

最近在这个领域中，还有一些相关研究，如基于区块链的安全方法和基于机器学习的安全方法等。