Decoupling the Class Label and the Target Concept in Machine Unlearning

机器遗忘作为数据监管的新兴研究课题，旨在调整训练模型以逼近重新训练的模型，但排除了部分训练数据。以前的研究表明，按类别遗忘可以成功地忘记目标类别的知识，通过对遗忘数据进行梯度上升或使用剩余数据进行微调。然而，虽然这些方法是有用的，但它们不足以应对类别标签和目标概念经常被认为是相同的情况。在本文中，我们通过考虑标签域不匹配来解耦它们，并研究了传统的所有匹配遗忘之外的三个问题，例如目标不匹配、模型不匹配和数据不匹配遗忘。我们系统地分析了在限制性地遗忘目标概念方面的新挑战，并揭示了在表示层面上实现这些任务的关键遗忘动态。基于此，我们提出了一个通用框架，即TARget-aware Forgetting（TARF）。它能够在同时对遗忘数据进行退火梯度上升和对难以影响的剩余数据进行选择性梯度下降的情况下，使额外的任务主动遗忘目标概念，同时保留其余部分。实验上，我们进行了各种实验，以展示我们的TARF的有效性。

本文旨在解决机器学习中的遗忘问题，即如何让模型忘记特定的训练数据，包括标签不匹配、目标不匹配、模型不匹配和数据不匹配等情况。

本文提出了一种名为TARF的通用框架，能够在忘记目标概念的同时保留其余部分。该框架通过在遗忘数据上进行退火梯度上升，并在难以影响的剩余数据上进行选择性梯度下降来实现。

本文通过分析标签域不匹配的新挑战，提出了一种新的机器学习遗忘框架。作者在多个数据集上进行了实验验证，证明了TARF的有效性。本文还提供了开源代码。

近期的相关研究包括《Class-Incremental Learning with Dual Memory》、《Continual Learning with Deep Generative Replay》等。