Byzantine-Robust Decentralized Federated Learning

联邦学习（FL）使多个客户端在不泄露私有训练数据的情况下协作训练机器学习模型。在传统的FL中，系统采用服务器辅助架构（服务器辅助FL），其中训练过程由中央服务器协调。然而，服务器辅助FL框架由于服务器上的通信瓶颈和信任依赖问题而遭受可扩展性差的问题。为了解决这些挑战，提出了分散式联邦学习（DFL）架构，允许客户端以无服务器和点对点的方式协作训练模型。然而，由于其完全分散的性质，DFL极易受到中毒攻击的影响，其中恶意客户端可以通过向其相邻客户端发送精心制作的本地模型来操纵系统。到目前为止，只提出了有限数量的拜占庭鲁棒DFL方法，其中大多数要么通信效率低下，要么仍然容易受到高级中毒攻击的影响。在本文中，我们提出了一种名为BALANCE（通过本地相似性实现拜占庭鲁棒平均）的新算法，用于防御DFL中的中毒攻击。在BALANCE中，每个客户端利用自己的本地模型作为相似性参考来确定接收到的模型是否恶意或良性。我们在强凸和非凸设置下建立了BALANCE在中毒攻击下的理论收敛保证。此外，BALANCE在中毒攻击下的收敛速度与拜占庭自由设置下的最先进对手相匹配。大量实验证明，BALANCE优于现有的DFL方法，并有效地防御了中毒攻击。

解决问题：论文旨在解决分散式联邦学习中的中毒攻击问题，提出一种名为BALANCE的算法来解决这个问题。

关键思路：BALANCE算法利用每个客户端的本地模型作为相似性参考来确定接收到的模型是否是恶意的。在强凸和非凸设置下，该算法具有收敛性保证，并且在无拜占庭故障的情况下与现有算法的收敛速度相匹配。

其他亮点：BALANCE算法有效地防御了中毒攻击，并在实验中优于现有的分散式联邦学习方法。实验使用了两个数据集，并且作者们提供了开源代码。值得进一步研究的工作包括如何将BALANCE算法应用于更广泛的数据集和模型中。

相关研究：最近的相关研究包括“Defending Against Poisoning Attacks on Federated Learning via Anomaly Detection”和“Byzantine-Robust Distributed Learning: Towards Optimal Statistical Rates”。