Aggressive or Imperceptible, or Both: Network Pruning Assisted Hybrid Byzantines in Federated Learning

Federated Learning（FL）被引入以便让大量客户端（可能是移动设备）协作生成通用的机器学习模型，利用更多本地样本而不共享，从而为协作客户端提供某些隐私。然而，由于大量客户端的参与，通常很难对每个客户端进行个人资料和验证，这导致安全威胁，恶意参与者可能通过在训练过程中传递有毒模型来破坏训练模型的准确性。因此，参数服务器上的聚合框架也需要最小化这些恶意客户端的不利影响。文献中已经分析了大量的攻击和防御策略。然而，通常拜占庭问题仅从异常检测的角度进行分析，忽略了神经网络（NNs）的拓扑结构。 在本文的范围内，我们认为通过提取特定于NN拓扑结构的某些侧面信息，可以设计更强大的攻击。因此，受稀疏神经网络的启发，我们引入了一种混合稀疏拜占庭攻击，由两部分组成：一部分表现出稀疏性，仅攻击具有更高灵敏度的某些NN位置，另一部分更为沉默，但随着时间的推移累积，每个部分理想地针对不同类型的防御机制，它们一起形成了一个强大但不可察觉的攻击。最后，我们通过广泛的模拟表明，所提出的混合拜占庭攻击对8种不同的防御方法都是有效的。

本文旨在解决联邦学习中的拜占庭问题，即如何在大量客户端参与的情况下，防止恶意参与者通过传递有毒模型来破坏模型的准确性。

通过提取特定于神经网络拓扑的某些侧面信息，设计了一种更强的攻击策略。作者提出了一种混合稀疏的拜占庭攻击，由两部分组成：一部分是稀疏的，只攻击某些神经网络位置，另一部分则更为隐蔽，但随着时间的推移积累攻击力度。这两部分攻击策略相互配合，形成了一种强大但不易察觉的攻击。

作者通过大量模拟表明，提出的混合拜占庭攻击对8种不同的防御方法都是有效的。实验使用了MNIST和CIFAR-10数据集，但没有公开代码。

在联邦学习中拜占庭问题的研究已经比较成熟。近期的相关研究有：'A Survey of Federated Learning: Opportunities and Challenges'，'Secure Federated Transfer Learning'，'Federated Learning with Differential Privacy: Algorithms and Empirical Study'等。