Privacy-Preserving Aggregation for Decentralized Learning with Byzantine-Robustness

分散化机器学习（DL）近来受到越来越多的关注，因为它消除了联邦学习设置中存在的单点故障。然而，它受到拜占庭客户的潜在威胁，这些客户通过向其他客户广播任意模型更新来有意破坏学习过程，以寻求降低全局模型的性能。为此，强大的聚合方案已经成为抵御此类拜占庭客户的有希望的解决方案，从而增强了分散式学习的鲁棒性。然而，对抗拜占庭对手通常需要访问其他客户的更新，这是一种逆生产的隐私权衡，反过来增加了对那些模型更新的推断攻击的风险。 在本文中，我们介绍了SecureDL，这是一种新颖的DL协议，旨在增强DL对拜占庭威胁的安全性和隐私性。SecureDL通过安全多方计算保护客户模型更新的隐私，促进协作防御。该协议采用余弦相似性的高效计算和更新的归一化，以强有力地检测和排除有害于模型收敛的模型更新。通过使用MNIST、Fashion-MNIST、SVHN和CIFAR-10数据集，我们评估了SecureDL对各种拜占庭攻击的效果，并将其与四种现有的防御机制进行了比较。我们的实验表明，即使在恶意大多数的情况下（例如，80%的拜占庭客户）SecureDL也是有效的，同时保持高的训练准确性。

SecureDL论文旨在解决分布式机器学习中的拜占庭故障问题，提出了一种新的协议以增强安全性和隐私性。

SecureDL协议采用安全多方计算来保护客户端模型更新的隐私，并使用余弦相似度和归一化更新的有效计算来检测和排除有害于模型收敛的模型更新。

SecureDL协议在MNIST、Fashion-MNIST、SVHN和CIFAR-10数据集上进行了评估，并与四种现有的防御机制进行了比较。实验表明，SecureDL即使在恶意大多数（例如80％的拜占庭客户端）的情况下也是有效的，同时保持高训练精度。

最近的相关研究包括Federated Learning、Robust Aggregation和其他防御拜占庭攻击的机制。