Privacy Preserving Prompt Engineering: A Survey

预训练语言模型（PLMs）已经证明在解决各种自然语言处理（NLP）任务方面具有显著的熟练度。研究人员观察到这些模型的性能和它们的大小之间存在直接的相关性。因此，这些模型的大小在最近几年显著扩大，促使研究人员采用大型语言模型（LLMs）一词来描述更大尺寸的PLMs。增加的大小伴随着一种称为上下文学习（ICL）的独特能力，它代表了一种专门的提示形式。这使得可以在保持模型参数冻结的同时，通过向模型提供演示示例来利用LLMs进行特定的下游任务。虽然很有趣，但隐私问题已成为其广泛使用的主要障碍。多项研究已经研究了与ICL和提示一般相关的隐私风险，并设计了缓解这些风险的技术。因此，有必要为社区组织这些缓解技术。本调查提供了ICL和提示期间采用的隐私保护方法的系统概述。我们在这个范式下回顾、分析和比较不同的方法。此外，我们提供了可用于开发这些框架的资源摘要。最后，我们讨论了这些框架的局限性，并对需要进一步探索的有前途的领域进行了详细的考察。

隐私保护在大型语言模型中的应用和限制

本文系统地概述了在上下文学习和提示中应用隐私保护的方法。主要包括添加噪声、差分隐私、加密技术等。

本文分析了不同方法的优缺点，并总结了可用于开发这些框架的资源。此外，还讨论了这些框架的限制，并提出了需要进一步探索的有前途的领域。

最近的相关研究包括：1. 'Towards Privacy-Preserving Machine Learning Models: A Survey'；2. 'Differentially Private Learning with Adaptive Clipping'；3. 'Privacy-Preserving Deep Learning'。