Byzantine-resilient Federated Learning With Adaptivity to Data Heterogeneity

本文讨论了在存在恶意拜占庭攻击和数据异构性的情况下联邦学习（FL）。提出了一种新的鲁棒平均梯度算法（RAGA），它利用几何中位数进行聚合，并可以自由选择局部更新的轮数。与大多数现有的弹性方法不同，这些方法基于强凸损失函数或均匀分布的数据集进行收敛分析，我们对不仅强凸而且非凸损失函数在异构数据集上进行收敛分析。根据我们的理论分析，只要来自恶意用户的数据集分数小于一半，RAGA就可以以$\mathcal{O}({1}/{T^{2/3- \delta}})$的速率实现收敛，其中$T$是迭代次数，$\delta \in (0, 2/3)$用于非凸损失函数，对于强凸损失函数则是线性收敛。此外，证明了随着数据异构性的消失，可以获得稳定点或全局最优解。实验结果证实了RAGA对拜占庭攻击的鲁棒性，并验证了在异构数据集下，在各种强度的拜占庭攻击下，RAGA相对于基线的收敛性能优势。

本文旨在解决联邦学习中存在的恶意拜占庭攻击和数据异质性问题。研究提出了一种新的鲁棒平均梯度算法(RAGA)，利用几何中位数进行聚合，并可以自由选择局部更新的轮数。研究进行了收敛性分析，不仅针对强凸损失函数，还针对非凸损失函数和异质数据集进行了收敛性分析。

该算法的关键思路是使用几何中位数进行聚合，并且可以自由选择局部更新的轮数。相比当前领域的研究，该算法的思路更加鲁棒，可以在非凸损失函数和异质数据集的情况下实现收敛。

该研究的亮点包括：1.收敛性分析不仅针对强凸损失函数，还针对非凸损失函数和异质数据集进行了分析；2.实验证明了该算法对于恶意拜占庭攻击的鲁棒性，以及在不同强度攻击下的收敛性能优势；3.研究证明，随着数据异质性的消失，可以获得稳定点或全局最优解。

在最近的相关研究中，还有一些相关的研究被进行，例如：'Secure Federated Learning on Curves'，'Federated Learning with Non-IID Data: A Semi-Supervised Approach'等。