Fast-FedUL: A Training-Free Federated Unlearning with Provable Skew Resilience

联邦学习（FL）是一种新兴的机器学习范式，其优先考虑保护训练数据的隐私。解决“被遗忘权”和对抗数据污染攻击等问题的需求日益增加，突显了技术的重要性，即所谓的“遗忘”技术，以促进从训练好的FL模型中删除特定训练数据。尽管已经提出了许多针对集中式学习的遗忘方法，但由于两种学习范式的运作方式存在根本差异，它们通常无法适用于FL。因此，FL中的遗忘仍处于早期阶段，存在着几个挑战。许多现有的FL遗忘解决方案需要昂贵的重新训练过程，这可能对客户来说是负担。此外，这些方法主要通过实验验证，缺乏理论保证。在本研究中，我们介绍了Fast-FedUL，一种专门针对FL的遗忘方法，它完全消除了重新训练的需要。通过对每轮目标客户对全局模型的影响进行细致分析，我们开发了一种算法，系统地从训练好的模型中消除目标客户的影响。除了提供实证结果外，我们还提供了理论分析，说明了我们遗忘模型的上限和精确的重新训练模型（通过使用非针对性客户进行重新训练获得的模型）。针对后门攻击场景的实验结果表明，Fast-FedUL有效地消除了目标客户的几乎所有痕迹，同时保留了非针对性客户的知识（在主要任务上获得高达98％的准确度）。重要的是，Fast-FedUL获得了最低的时间复杂度，提供了比重新训练快1000倍的速度。我们的源代码公开可用于\url{https://github.com/thanhtrunghuynh93/fastFedUL}。

本论文旨在解决联邦学习中的遗忘问题，即如何从训练好的模型中删除特定的训练数据，而无需重新训练模型。这是一个新问题，因为现有的遗忘方法主要适用于集中式学习，而联邦学习与之有根本区别。

Fast-FedUL是一种专门为联邦学习设计的遗忘方法，它通过分析目标客户在每轮中对全局模型的影响，开发出一种算法来系统地删除目标客户对训练模型的影响，从而无需重新训练模型。相比现有的方法，Fast-FedUL具有更低的时间复杂度，速度快了1000倍。

本论文提供了一种新的解决方案来解决联邦学习中的遗忘问题，而无需重新训练模型，这是一个新的研究方向。Fast-FedUL的时间复杂度比现有方法低，速度快了1000倍。实验结果表明，Fast-FedUL能够有效地删除目标客户的影响，同时保留非目标客户的知识。论文提供了开源代码。

最近在联邦学习领域中，还有一些相关研究，例如《FedAvg with Momentum Correction for Federated Learning》、《Federated Learning with Non-IID Data》等。