Unlearning during Learning: An Efficient Federated Machine Unlearning Method

近年来，联邦学习（FL）作为一种分布式机器学习模式引起了重视。为了促进被遗忘权的实施，联邦机器遗忘（FMU）的概念也出现了。然而，当前的FMU方法通常涉及额外耗时的步骤，并且可能无法提供全面的遗忘能力，这使它们在实际的FL场景中不太实用。在本文中，我们介绍了FedAU，这是一个创新而高效的FMU框架，旨在克服这些限制。具体来说，FedAU将一个轻量级的辅助遗忘模块纳入学习过程，并采用一个简单的线性操作来促进遗忘。这种方法消除了额外耗时步骤的要求，使其非常适合于FL。此外，FedAU表现出了出色的多功能性。它不仅使多个客户端可以同时执行遗忘任务，而且还支持在各种粒度级别上进行遗忘，包括单个数据样本、特定类别，甚至是在客户端级别上进行遗忘。我们在MNIST、CIFAR10和CIFAR100数据集上进行了广泛的实验，以评估FedAU的性能。结果表明，FedAU在保持模型准确性的同时有效地实现了所需的遗忘效果。

解决问题：论文提出了一种有效的联邦机器遗忘（FMU）框架，以解决联邦学习中的遗忘问题。

关键思路：FedAU框架将轻量级的辅助遗忘模块整合到学习过程中，并采用简单的线性操作来促进遗忘。此方法消除了额外的耗时步骤，适用于联邦学习。FedAU还支持多个客户端同时进行遗忘任务，并支持不同粒度的遗忘，包括单个数据样本、特定类别甚至客户端级别。

其他亮点：论文在MNIST、CIFAR10和CIFAR100数据集上进行了广泛实验，证明了FedAU在维持模型准确性的同时有效实现了所需的遗忘效果。值得关注的是，FedAU框架具有很高的灵活性和通用性，并且可以应用于各种联邦学习场景。论文还提供了开源代码。

相关研究：最近的相关研究包括“Federated Unlearning with Gossip-based Communication”和“Federated Learning with Matched Averaging”。