Byzantine-Robust Decentralized Federated Learning

联邦学习（FL）使多个客户端在不泄露其私有训练数据的情况下协同训练机器学习模型。在传统的FL中，系统采用服务器辅助架构（服务器辅助FL），其中训练过程由中央服务器协调。然而，服务器辅助FL框架由于服务器上的通信瓶颈和信任依赖问题而遭受可扩展性差的问题。为了解决这些挑战，提出了分散式联邦学习（DFL）架构，允许客户端以无服务器和点对点的方式协同训练模型。然而，由于其完全分散的性质，DFL极易受到中毒攻击的影响，其中恶意客户端可以通过向其相邻客户端发送精心制作的本地模型来操纵系统。迄今为止，只有少数拜占庭鲁棒DFL方法被提出，其中大多数要么通信效率低下，要么仍然容易受到先进的中毒攻击的影响。在本文中，我们提出了一种名为BALANCE（通过分散化中的本地相似性实现拜占庭鲁棒平均）的新算法，以防范DFL中的中毒攻击。在BALANCE中，每个客户端利用自己的本地模型作为相似性参考来确定接收到的模型是恶意还是良性的。我们在强凸和非凸设置下建立了BALANCE在中毒攻击下的理论收敛保证。此外，BALANCE在中毒攻击下的收敛速度与拜占庭自由设置下的最新对手相匹配。广泛的实验还证明，BALANCE优于现有的DFL方法，并有效地防御了中毒攻击。

本论文旨在解决分布式联邦学习中去中心化架构下的恶意攻击问题，提出了一种名为BALANCE的算法。

BALANCE算法采用本地模型作为相似性参考，以区分恶意模型和良性模型，从而防御恶意攻击。该算法在强凸和非凸设置下均具有收敛性，并且在抵御恶意攻击方面表现出色。

论文提出的BALANCE算法在实验中表现出比现有的去中心化联邦学习方法更好的效果，并且成功地防御了恶意攻击。论文还证明了BALANCE算法在恶意攻击下的收敛性，并且与当前最先进的无拜占庭容错算法在收敛速度方面相当。

最近的相关研究包括：《Federated Learning with Byzantine Robustness: Centralized and Decentralized》、《Byzantine-Robust Distributed Learning: Towards Optimal Statistical Rates》等。