ACU: Analytic Continual Unlearning for Efficient and Exact Forgetting with Privacy Preservation

人工智能的发展要求模型通过持续学习（Continual Learning, CL）增量更新知识，以适应开放世界环境。为了满足隐私和安全需求，持续遗忘（Continual Unlearning, CU）成为一个重要的研究问题，其目标是在CL阶段依次遗忘特定已习得的知识。然而，现有的遗忘方法主要集中在一次性联合遗忘上，在应用于CU时面临显著的局限性。首先，大多数现有方法需要访问保留的数据集以进行重新训练或微调，这违反了CL中无法重访历史数据的固有约束。其次，这些方法通常在系统效率和模型保真度之间存在较差的权衡，容易因恶意频繁请求而被压垮或退化。 在本文中，我们发现现有遗忘方法的局限性根本上源于它们对基于梯度更新的依赖。为从根本上填补这一研究空白，我们提出了一种新颖的无梯度方法——分析式持续遗忘（Analytic Continual Unlearning, ACU），该方法能够在保护历史数据隐私的同时实现高效且精确的遗忘。针对每次遗忘请求，我们的ACU方法通过最小二乘法以可解释的方式递归推导出解析（即闭形式）解。理论分析和实验评估均验证了我们的ACU在遗忘效果、模型保真度和系统效率方面的优越性。

论文试图解决在持续学习（Continual Learning, CL）环境中如何实现高效且隐私保护的连续遗忘（Continual Unlearning, CU）问题。这是一个相对较新的问题，特别是在需要满足隐私和安全要求的情况下，如何在不访问历史数据的前提下实现精确的知识遗忘。

论文提出了一种基于解析方法的无梯度更新框架——Analytic Continual Unlearning (ACU)，以递归地推导出闭式解来实现精确遗忘。相比现有的基于梯度的更新方法，ACU无需重新训练或微调模型，并避免了对历史数据的依赖，从而解决了CL中数据不可复用的限制。此外，该方法通过最小二乘法提供了解释性强的解决方案，显著提升了系统效率和模型保真度。

论文通过理论分析和实验验证展示了ACU在遗忘效果、模型保真度和系统效率上的优越性。实验部分涵盖了多个基准数据集（如MNIST、CIFAR-10等），并对比了现有主流的遗忘方法。尽管未提及代码开源情况，但研究为未来的CU方向提供了重要参考，例如探索更复杂的模型架构下的解析方法以及增强对抗频繁请求的能力。

最近的相关工作包括：1)《Machine Unlearning》探讨了单次联合遗忘的方法；2)《Gradient-based Unlearning for Neural Networks》提出了基于梯度调整的遗忘策略；3)《Efficient Forgetting in Continual Learning》研究了在CL场景下的高效遗忘技术。这些方法大多依赖于梯度更新或历史数据的重访，而本文提出的ACU则从根本上突破了这些限制。