Secure Aggregation Meets Sparsification in Decentralized Learning

分散学習（DL）面临着隐私泄露的风险增加，因为机器学习（ML）模型受到了复杂攻击。安全聚合是一种计算效率高的加密技术，可以使多个参与方计算出他们的私有数据的聚合，同时使他们的各自输入相互隐藏，也不会被任何中央聚合器所知晓。为了增强DL中的通信效率，使用稀疏化技术，只选择共享模型中最关键的参数或梯度，从而在不明显影响准确性的情况下保持效率。然而，将安全聚合应用于DL中的稀疏化模型具有挑战性，因为不同节点传输不相交的参数集，这可能会阻止掩码有效地抵消。本文介绍了CESAR，一种新的DL安全聚合协议，旨在与现有的稀疏化机制兼容。CESAR可以证明对抗诚实但好奇的对手，并可以正式适应对抗他们之间的勾结。我们提供了对节点进行稀疏化和在CESAR下共享参数比例之间交互作用的基本理解，无论是在勾结还是非勾结的环境下，并提供了对协议的工作和适用性的分析洞察。在一个具有48个节点的3-正则拓扑网络上的实验表明，通过随机子采样，CESAR始终比分散式并行随机梯度下降（D-PSGD）多出不到0.5％的准确性，同时只增加了11％的数据开销。此外，在独立同分布（IID）数据上，它在TopK上的准确性超过0.3％。

如何在去中心化学习中应用安全聚合，以保护机器学习模型的隐私并提高通信效率？

提出了一种新的安全聚合协议CESAR，可以与现有的稀疏化机制兼容，同时有效地防御诚实但好奇的攻击者和合谋的攻击者。

CESAR协议在48个节点的网络中进行实验，结果表明，CESAR的准确性总是比去中心化并行随机梯度下降（D-PSGD）高，同时只增加了11％的数据开销。此外，在独立同分布（IID）数据上，CESAR甚至超过了TopK算法的准确性。

与本文相关的研究包括：《SecureML: A System for Scalable Privacy-Preserving Machine Learning》、《Privacy-Preserving Federated Brain Tumor Segmentation》等。