Decoupling the Class Label and the Target Concept in Machine Unlearning

机器遗忘作为数据监管的新兴研究课题，旨在调整经过训练的模型，使其逼近一个不包括部分训练数据的重新训练模型。以往的研究表明，按类别进行遗忘是成功遗忘目标类别知识的方法，可以通过遗忘数据的梯度上升或剩余数据的微调实现。然而，这些方法虽然有用，但是当类别标签和目标概念被认为是一致的时候，它们是不充分的。本文通过考虑标签域不匹配，研究了传统的全匹配遗忘之外的三个问题，即目标不匹配、模型不匹配和数据不匹配遗忘。我们系统地分析了在限制性地遗忘目标概念时面临的新挑战，并揭示了在表示层面上实现这些任务的关键遗忘动态。基于此，我们提出了一个通用的框架，名为 TARget-aware Forgetting (TARF)。它使得在保持其余部分的同时主动遗忘目标概念成为可能，通过同时在遗忘数据上进行退火梯度上升和在难以影响的剩余数据上进行选择的梯度下降来实现。实验结果表明，我们的TARF在新引入的设置下具有很好的效果。

本论文旨在解决机器学习中遗忘数据的问题，尤其是在标签领域不匹配的情况下，如何忘记目标概念。

该论文提出了一种新的框架——TARget-aware Forgetting（TARF），通过同时在遗忘数据上进行退火梯度上升和在难以影响的剩余数据上选择性梯度下降，以主动忘记目标概念，同时保留其余部分。

论文通过系统地分析标签领域不匹配的新挑战，揭示了表示水平上的关键遗忘动态，提出了一种新的机器学习遗忘框架，并在多个实验中证明了其有效性。论文还提供了开源代码和使用的数据集。

在最近的相关研究中，也有一些关于机器学习遗忘的研究，如《A Survey on Learning to Forget》和《Continual Learning: A Comparative Study on How to Defy Forgetting in Classification Tasks》。