Practical Unlearning for Large Language Models

尽管LLMs在各个领域和任务中表现出了令人瞩目的性能，但它们的安全问题越来越严重。机器遗忘（MU）已经成为解决这些问题的一种有前途的方法，它可以在不影响LLM模型在其他方面的效用的情况下，消除不需要的数据对目标模型的影响。MU通常假定可以完全访问原始训练数据以保留效用，但在LLM遗忘中很难实现。现有的LLM遗忘方法通常假定可以访问受不需要的数据遗忘影响最大的数据。然而，这种假设低估了各种LLM能力之间的纠缠，并忽略了由于各种问题而导致的数据访问限制。此外，这些LLM遗忘方法没有充分考虑到在实际场景中，遗忘请求是不断出现的。为了克服这些挑战，实现实用的LLM遗忘，我们提出了O3框架。O3框架包括一个Out-Of-Distribution（OOD）检测器，用于测量输入和遗忘数据之间的相似性，以及一个正交低秩适配器（LoRA），用于不断遗忘请求的数据。OOD检测器使用新颖的对比熵损失进行训练，并利用局部-全局层聚合评分机制。正交LoRA实现了连续遗忘请求之间的参数解缠。在推理过程中，我们的O3框架可以智能地根据OOD检测器的预测决定是否以及在多大程度上加载遗忘LoRA。值得注意的是，O3的有效性不依赖于任何保留的数据。我们在三个任务和七个数据集上对O3和最先进的LLM遗忘方法进行了广泛的实验。结果表明，在面对连续的遗忘请求时，O3始终实现了最佳的遗忘效果和效用保留的折衷。

解决LLMs在数据安全性方面的问题，提出机器遗忘（MU）框架，以解除不良数据对目标模型的影响，同时保留其它方面的效用。

提出O3框架，包括Out-Of-Distribution（OOD）检测器和正交低秩适配器（LoRA），以解决LLMs遗忘问题。OOD检测器采用对比熵损失和局部-全局层聚合评分机制进行训练，LoRA实现连续遗忘请求中的参数解缠绕。在推理过程中，O3框架可以根据OOD检测器的预测智能地决定是否以及在何种程度上加载遗忘LoRA。

论文在三个任务和七个数据集上进行了广泛的实验，结果表明O3框架在遗忘效果和效用保留之间始终实现了最佳的权衡，特别是面对连续遗忘请求时。该论文的亮点还包括使用新的对比熵损失和局部-全局层聚合评分机制训练OOD检测器，以及实现连续遗忘请求中的参数解缠绕。

最近的相关研究包括“Deep-kNN+：深度神经网络的可遗忘性改进”（Deep-kNN+：Improving the Forgetability of Deep Neural Networks）和“遗忘是机器学习的关键问题：一个综述”（Forgetting is a Feature, not a Bug: A Survey of Learning with Forgetting）。