Byzantine-Robust Decentralized Federated Learning

联邦学习（FL）使得多个客户端在不泄露私有训练数据的情况下协同训练机器学习模型。在传统的FL中，系统遵循服务器辅助架构（服务器辅助FL），其中训练过程由中央服务器协调。然而，服务器辅助FL框架由于服务器上的通信瓶颈和信任依赖问题而具有较差的可扩展性。为了解决这些挑战，提出了分散式联邦学习（DFL）架构，允许客户端以无服务器和点对点的方式协同训练模型。然而，由于其完全分散的性质，DFL极易受到中毒攻击的影响，其中恶意客户端可以通过向其相邻客户端发送精心制作的本地模型来操纵系统。到目前为止，仅提出了有限数量的拜占庭鲁棒DFL方法，其中大多数要么通信效率低下，要么仍然容易受到高级中毒攻击的影响。在本文中，我们提出了一种名为BALANCE（通过分散化中的本地相似性实现拜占庭鲁棒平均）的新算法，以防范DFL中的中毒攻击。在BALANCE中，每个客户端利用自己的本地模型作为相似性参考来确定接收到的模型是恶意还是良性。我们在强凸和非凸设置下建立了BALANCE在中毒攻击下的理论收敛保证。此外，BALANCE在中毒攻击下的收敛速度与拜占庭自由设置下的最先进对手相匹配。广泛的实验也证明，BALANCE优于现有的DFL方法，并有效地防御中毒攻击。

解决问题：论文旨在解决去中心化联邦学习中的恶意攻击问题，提出了一种名为BALANCE的算法。

关键思路：BALANCE算法利用每个客户端的本地模型作为相似性参考来确定接收到的模型是否恶意，从而防御恶意攻击。

其他亮点：论文在强凸和非凸设置下建立了BALANCE算法在恶意攻击下的理论收敛保证，并且实验结果表明，BALANCE算法优于现有的去中心化联邦学习方法并有效地防御了恶意攻击。

相关研究：最近的相关研究包括“Towards Federated Learning at Scale: System Design”和“Federated Learning: Challenges, Methods, and Future Directions”等。