Impact of Network Topology on Byzantine Resilience in Decentralized Federated Learning

联邦学习（FL）为机器学习模型的训练提供了一种协作环境，而无需在用户之间共享训练数据。通常，这是通过在中央服务器上聚合模型梯度来实现的。分散式联邦学习是一种新兴的范式，它使用户能够在点对点的方式下进行机器学习模型的协作训练，而无需使用中央聚合服务器。然而，在将分散式FL应用于真实的训练环境之前，必须考虑偏离FL过程（拜占庭节点）的节点在选择聚合函数时的影响。最近的研究集中在面向客户端-服务器或全连接网络的抗拜占庭聚合上，但尚未评估这种聚合方案在分散式FL中复杂拓扑结构的有效性。因此，有必要提供关于不同网络拓扑结构中抗拜占庭的经验性证据。本研究调查了最先进的拜占庭抗性聚合方法在复杂的大规模网络结构中的影响。我们发现，最先进的拜占庭抗性聚合策略在大型非全连接网络中不具有弹性。因此，我们的发现指向该领域需要开发拓扑感知的聚合方案，特别是在大规模实际部署的情况下，这是非常必要的。

本论文旨在探讨分布式联邦学习中的拜占庭容错问题，特别是在复杂的非全连接网络中，验证当前最先进的拜占庭容错聚合方法的鲁棒性。

本论文发现，目前最先进的拜占庭容错聚合策略在大规模的非全连接网络中并不具备鲁棒性，因此需要开发面向拓扑结构的聚合方案。

论文设计了一系列实验来验证不同的拜占庭容错聚合方法在不同的网络拓扑结构下的表现，并发现当前最先进的方法在大规模非全连接网络中表现不佳。论文还提出了面向拓扑结构的聚合方案的需求，并指出这是实现分布式联邦学习的关键。论文没有提供开源代码，但是提供了实验细节和数据集信息。

最近在这个领域中，也有一些相关研究，如：《Towards Byzantine-robust Machine Learning》、《Bulyan: Byzantine-Fault-Tolerant Federated Learning through Robust Aggregation》等。