Secure Aggregation Meets Sparsification in Decentralized Learning

分散学习（DL）面临着隐私泄露的风险增加，因为机器学习（ML）模型受到了复杂的攻击。安全聚合是一种计算高效的加密技术，它使多个参与方能够计算他们的私有数据的聚合，同时让各自的输入相互保密，且不向任何中央聚合器泄露。为了增强DL中的通信效率，使用了稀疏化技术，仅选择在模型中最关键的参数或梯度进行选择性共享，从而在不明显影响准确性的情况下保持效率。然而，在DL中将安全聚合应用于稀疏化模型是具有挑战性的，因为不同节点通过传输不连续的参数集，会防止掩码有效地取消。本文介绍了一种新的DL安全聚合协议CESAR，旨在与现有的稀疏化机制兼容。CESAR可以明确地防御诚实但好奇的对手，并可以正式地适应对抗他们之间的勾结。我们提供了关于节点进行稀疏化和CESAR下共享参数比例在勾结和非勾结环境中的交互作用的基础理解，为协议的工作和适用性提供了分析洞察。在具有48个节点的3-regular拓扑网络上进行的实验表明，在随机子采样的情况下，CESAR始终比分散并行随机梯度下降（D-PSGD）的准确度高0.5％，同时仅增加11％的数据开销。此外，它在独立同分布（IID）数据上的TopK准确度超过0.3％。

该论文旨在解决分散式学习中的隐私泄露问题，提出一种新的安全聚合协议CESAR，以应对节点之间分离参数集的挑战。

CESAR是一种新的安全聚合协议，可以与现有的稀疏化机制兼容，并且在防范恶意行为方面具有可证明的保护能力。

该论文提供了CESAR协议在非合谋和合谋环境下的参数共享比例与节点稀疏化之间交互作用的基础理解，并在48个节点的网络上进行了实验。实验表明，CESAR在添加的数据开销仅为11%的情况下，与分散式并行随机梯度下降（D-PSGD）相比，始终保持在0.5%的准确性范围内，并在独立同分布（IID）数据上优于TopK的准确性。

最近在分散式学习中，还有一些相关研究，例如“Privacy-Preserving Distributed Machine Learning: A Review of Methods”和“Federated Learning: Challenges, Methods, and Future Directions”。