Air Gap: Protecting Privacy-Conscious Conversational Agents

随着基于大型语言模型（LLM）的对话代理在管理敏感用户数据方面的不断增加，引发了重大的隐私问题。尽管这些代理在理解和处理上下文方面表现出色，但这种能力可能会被恶意行为者利用。我们提出了一种新的威胁模型，其中对手第三方应用程序操纵交互的上下文，以欺骗基于LLM的代理揭示与手头任务无关的私人信息。 基于上下文完整性框架，我们介绍了AirGapAgent，这是一个隐私意识代理，旨在通过限制代理对特定任务所需的数据的访问来防止意外数据泄漏。使用Gemini、GPT和Mistral模型作为代理的广泛实验验证了我们的方法在缓解这种上下文劫持方面的有效性，同时保持核心代理功能。例如，我们展示了对Gemini Ultra代理的单个查询上下文劫持攻击将其保护用户数据的能力从94%降至45%，而AirGapAgent实现了97%的保护，使得同样的攻击无效。

解决使用大型语言模型的对话代理程序可能泄露敏感用户数据的隐私问题，防止第三方应用程序通过操纵对话上下文来欺骗代理程序透露不相关的私人信息。

通过引入上下文完整性框架，设计了一种名为AirGapAgent的隐私意识代理程序，通过限制代理程序仅访问特定任务所需的数据，防止意外数据泄露。

论文使用Gemini、GPT和Mistral模型作为代理程序进行了广泛实验，证明了AirGapAgent的有效性，可以防止上下文劫持攻击，同时保持核心代理功能。值得关注的是，AirGapAgent可以实现97%的数据保护，而同样的单查询上下文劫持攻击会将Gemini Ultra代理程序的用户数据保护能力从94%降低至45%。

最近的相关研究包括使用差分隐私保护用户数据的方法以及设计更安全的对话代理程序。例如，论文《Towards Privacy-Preserving Conversational Agents: A Survey》调查了保护用户隐私的不同方法，而论文《Secure Conversational AI: Towards Practical Privacy-Preserving Deep Learning》则提出了一种基于加密的安全对话代理程序方案。