Asynchronous Byzantine Federated Learning

我们的解决方案是首批拥有拜占庭容错性和异步FL算法之一，它使一组地理分布的客户端通过服务器共同训练模型。经典的训练过程是同步的，但可以变成异步的，以保持其在存在缓慢的客户端和异构网络的情况下的速度。然而，绝大多数拜占庭容错FL系统仍然依赖于同步的训练过程。我们的解决方案不需要辅助服务器数据集，并且不会被慢速客户端所延迟，这是以前工作的缺点。直观地说，我们的解决方案中的服务器等待从客户端接收到其最新模型的最小更新数量，以安全地更新它，稍后能够安全地利用迟到的客户端可能发送的更新。我们将我们的解决方案与最先进的算法在图像和文本数据集上进行了比较，并在梯度反转，扰动和后门攻击下进行了测试。我们的结果表明，在存在拜占庭客户端的情况下，我们的解决方案比以前的异步FL解决方案训练模型更快，并且保持更高的准确性，分别高达1.54倍和1.75倍。

解决问题：论文提出了一种异步的拜占庭容错联邦学习算法，旨在解决之前同步算法的缺陷，如需要辅助服务器数据集和受到慢客户端的影响。

关键思路：论文提出的算法等待一定数量的客户端更新后再更新模型，以解决异步算法中的问题，并能够处理拜占庭攻击。

其他亮点：论文在图像和文本数据集上进行了实验，证明了该算法比之前的同步和异步算法更快，更准确，并且能够抵御各种攻击。论文还提供了开源代码。

相关研究：最近的相关研究包括：Asynchronous Byzantine-Resilient Machine Learning，Communication-Efficient Byzantine Resilient Machine Learning，和 Byzantine-Robust Distributed Learning: Towards Optimal Statistical Rates。