Privacy-Preserving Federated Unlearning with Certified Client Removal

近年来，联邦学习系统中的联邦遗忘（Federated Unlearning，FU）备受关注，因为它可以移除客户端对全局模型的影响，从而确保“被遗忘的权利”（RTBF）。最先进的遗忘方法使用联邦学习客户端的历史数据，例如梯度或本地训练模型。然而，研究表明，在这种情况下存在显着的信息泄漏，有可能从上传的信息中重构用户的本地数据。为了解决这个问题，我们提出了Starfish，一种使用双方计算（Two-Party Computation，2PC）技术和两个非勾结服务器之间共享的历史客户端数据的隐私保护联邦遗忘方案。Starfish建立在现有的FU方法之上，以确保遗忘过程中的隐私。为了增强隐私保护的FU评估效率，我们建议为某些FU算法操作提供2PC友好的替代方案。我们还实施了降低2PC操作成本和减少累积近似误差的策略。此外，我们为通过Starfish进行的遗忘全局模型和从头重新训练的全局模型之间的差异建立了理论界限，以证明其可以有效地移除客户端并在联邦学习系统中保持隐私和安全。我们的理论和实验分析表明，Starfish可以实现有效的遗忘，并以合理的效率维护联邦学习系统中的隐私和安全。

本论文旨在解决联邦学习（FL）系统中客户端数据删除的隐私问题，提出了一种使用两方计算技术的隐私保护联邦去学习方案Starfish。

Starfish使用两方计算技术和两个非勾结服务器之间共享的历史客户端数据，以确保隐私保护的去学习过程。此外，论文还提出了一些2PC友好的替代方案来提高隐私保护的FU评估的效率，并实施了降低2PC操作成本和减少近似误差的策略。

论文建立了Starfish去学习全局模型与从头重新训练全局模型之间的理论差异的理论界限，并进行了实验分析。论文的实验结果表明，Starfish在保持FL系统的隐私和安全性的同时，实现了有效的去学习。

在最近的相关研究中，也有一些关于隐私保护的联邦学习的研究，例如“Privacy-Preserving Federated Learning with Byzantine Robustness: Convergence Analysis and Implementation”和“Privacy-Preserving Deep Learning with Applications to Neural Network Compression”。