Asynchronous Byzantine Federated Learning

我们的解决方案是首批拥有拜占庭容错和异步 FL 算法之一，它使得一组地理分布的客户端能够通过服务器共同训练模型。经典的训练过程是同步的，但可以变成异步的，以保持其速度在存在缓慢的客户端和异构网络的情况下。然而，绝大多数拜占庭容错 FL 系统依赖于同步训练过程。我们的解决方案不需要辅助服务器数据集，并且不会被慢速客户端和跟随者的问题所拖延，这些都是以前作品的缺点。直观地说，我们解决方案中的服务器会等待从客户端接收到其最新模型的最小更新数量，以便安全地更新它，并且稍后可以安全地利用后来客户端可能发送的更新。我们在图像和文本数据集上比较了我们的解决方案与最先进的算法在梯度反演、扰动和后门攻击下的表现。我们的结果表明，在存在拜占庭客户端的情况下，相比以前的异步 FL 解决方案，我们的解决方案训练模型更快，并且保持更高的准确性，分别高出先前算法的最高1.54倍和最高1.75倍。

解决问题：该论文尝试解决联邦学习中存在的拜占庭容错问题，提出了一种异步且无需辅助服务器数据集的拜占庭容错算法。

关键思路：该算法的关键思路是等待服务器收到足够多客户端的更新后，再安全地更新模型，从而避免了之前算法中存在的延迟和拜占庭容错问题，同时能够在异步情况下进行训练。

其他亮点：该论文通过在图像和文本数据集上的实验，展示了该算法相比于之前的同步联邦学习算法和异步联邦学习算法，在防御梯度反转、扰动和后门攻击方面具有更高的准确性和更快的训练速度。该论文的算法无需辅助服务器数据集，且没有受到拜占庭容错问题和延迟的影响，具有很高的实用价值。

相关研究：最近的相关研究包括《Communication-Efficient Learning of Deep Networks from Decentralized Data》和《Towards Federated Learning at Scale: System Design》等。