Preserving Privacy in Large Language Models: A Survey on Current Threats and Solutions

大型语言模型（LLMs）是人工智能领域的重大进展，可在各个领域找到应用。然而，它们依赖于大规模的互联网数据集进行训练，这带来了显著的隐私问题，尤其是在关键领域（如医疗保健）中更加严重。此外，某些特定应用场景可能需要在私有数据上微调这些模型。本文对与LLMs相关的隐私威胁进行了批判性的审查，强调了这些模型记忆和无意中泄露敏感信息的潜力。我们通过回顾对LLMs的隐私攻击来探索当前的威胁，并提出了全面的解决方案，以在整个学习过程中整合隐私机制。这些解决方案包括对训练数据集进行匿名处理，实施差分隐私以在训练或推理期间进行机器遗忘。我们对现有文献的全面审查突出了保护LLMs隐私的持续挑战、可用工具和未来方向。本文旨在通过提供对隐私保护方法及其在减轻风险方面的有效性的全面了解，指导更安全、可信赖的人工智能系统的开发。

本论文旨在探讨大型语言模型（LLMs）的隐私威胁，特别是在涉及敏感信息的关键领域，以及在需要使用私有数据进行微调的应用场景下。论文提出了在整个学习过程中整合隐私机制的综合解决方案，以缓解LLMs的隐私风险。

论文提出了一系列解决方案，包括对训练数据集进行匿名化处理、在训练或推理过程中实施差分隐私以及训练后的机器遗忘等，以确保LLMs的隐私安全。

论文对LLMs的隐私威胁进行了全面的调查和总结，并提出了一系列解决方案。实验结果表明，这些解决方案可以有效地保护LLMs的隐私。论文还探讨了当前存在的挑战、可用工具和未来研究方向。

在近期的相关研究中，也有一些关于LLMs隐私保护的研究。例如：'Towards Privacy-Preserving Language Models: A Survey'、'Privacy Threats in Intimate Conversations: Understanding the Impact of Language Models on Privacy'等。