FLGuard: Byzantine-Robust Federated Learning via Ensemble of Contrastive Models

Federated Learning（FL）通过仅共享其本地模型的参数来训练具有众多客户端的全局模型，从而蓬勃发展，而这些本地模型是使用它们的私有训练数据集训练的。因此，客户端可以获得具有高性能的深度学习（DL）模型，而不需要透露私有数据集。然而，最近的研究提出了毒化攻击，当对手伪装成良性客户端存在于客户端组中时，会导致全局模型的准确性严重下降。因此，最近的研究建议使用拜占庭鲁棒FL方法，即使在系统中存在对手，也允许服务器训练准确的全局模型。然而，许多现有方法需要知道恶意客户端的数量或辅助（干净）数据集，或者当私有数据集不是独立同分布（non-IID）时，其效果大大降低。在这项工作中，我们提出了FLGuard，这是一种新颖的拜占庭鲁棒FL方法，它利用对比学习技术检测恶意客户端并丢弃恶意本地更新，该技术作为自监督学习方法表现出巨大的改进。通过对比模型，我们将FLGuard设计为一个集成方案，以最大化防御能力。我们在各种毒化攻击下广泛评估FLGuard，并将全局模型的准确性与现有的拜占庭鲁棒FL方法进行比较。FLGuard在大多数情况下优于最先进的防御方法，并显示出巨大的改进，特别是在非独立同分布的设置下。

解决问题：本论文旨在解决联邦学习中恶意客户端的问题，提出一种新的对抗性防御方法FLGuard。

关键思路：FLGuard利用对比学习技术来检测恶意客户端并丢弃其本地更新，同时采用集成学习方法来提高防御能力。

亮点：论文在多种攻击场景下对FLGuard进行了广泛评估，并与现有的对抗性防御方法进行了比较。结果表明，FLGuard在大多数情况下优于现有方法，特别是在非独立同分布的情况下表现更好。该论文提供了开源代码。

相关研究：最近的相关研究包括：Towards Federated Learning at Scale: System Design, Challenges and Future Directions, Byzantine-Resilient Secure Aggregation for Federated Learning, Secure Federated Transfer Learning。