Learning to Refuse: Towards Mitigating Privacy Risks in LLMs

这项研究探讨了大型语言模型（LLMs）在理解和生成自然语言方面的显著能力，但这些模型可能会无意中记住私人信息，从而构成重大的隐私风险。为了解决这一挑战，研究提出了一个名为“\return”的现实世界个人数据去学习数据集，其中包括来自维基百科的2,492个人及其相关的问答对，以评估机器去学习（MU）方法在现实情况下保护个人数据的效果。此外，还介绍了一种名为“Name-Aware Unlearning Framework（NAUF）”的隐私保护去学习框架，使模型能够学习哪些个人信息应该受到保护，而不影响其回答与其他无关个人相关的问题的能力。我们的广泛实验表明，NAUF实现了最先进的平均去学习分数，比最佳基线方法高出5.65个点，有效地保护目标个人的个人数据，同时保持模型的一般能力。

如何在不需要重新训练的情况下，保护特定个人数据的隐私风险？

提出了名字感知的遗忘框架（NAUF），该框架可以使模型学习保护哪些个人信息，同时不影响其回答与其他不相关个人相关的问题。在Real-world pErsonal daTa UnleaRNing数据集上进行实验，表明NAUF可以有效地保护目标个人的个人数据，同时保持模型的常规功能。

论文提出了一个新的数据集Real-world pErsonal daTa UnleaRNing（ eturn），用于评估机器遗忘（MU）方法在现实场景中保护个人数据的能力。此外，提出了名字感知的遗忘框架（NAUF）来保护个人数据隐私，这个框架可以使模型学习保护哪些个人信息，同时不影响其回答与其他不相关个人相关的问题。实验表明，NAUF可以有效地保护目标个人的个人数据，同时保持模型的常规功能。

最近的相关研究包括：1）使用生成对抗网络（GAN）进行遗忘；2）使用知识蒸馏进行遗忘；3）使用正则化技术进行遗忘。相关论文包括：1）“Generative Adversarial Network-based Unlearning for Privacy Protection in Deep Neural Networks”；2）“Knowledge Distillation-based Unlearning for Privacy Protection in Deep Neural Networks”；3）“Regularization-based Forgetting for Privacy Protection in Deep Neural Networks”。