The Privacy Power of Correlated Noise in Decentralized Learning

去中心化学习具有吸引力，因为它可以在不依赖任何中央实体的情况下，利用大量分布式数据和资源进行可扩展的使用，同时促进隐私保护，因为每个用户都最小化其数据的直接暴露。然而，如果没有额外的预防措施，好奇的用户仍然可以利用从其同行那里获得的模型来侵犯隐私。在本文中，我们提出了Decor，这是一种带有差分隐私（DP）保证的分散式SGD的变体。在Decor中，用户在一个通信轮中安全地交换随机种子，以生成成对取消相关的高斯噪声，这些噪声在每个通信轮中注入以保护本地模型。我们从理论和实证角度表明，在任意连接的图形中，Decor与中央DP最优隐私效用权衡相匹配。我们在SecLDP下完成了这一点，SecLDP是我们对本地DP的新放宽，它保护所有用户通信免受外部窃听者和好奇的用户的攻击，假设每对连接的用户共享一个秘密，即对所有其他人隐藏的信息。主要的理论挑战是控制由于网络稀疏性而导致的非取消相关噪声的积累。我们还提出了一个伴随的SecLDP隐私账户供公共使用。

论文旨在解决分布式学习中隐私泄露的问题，即使在去中心化的情况下，用户仍可能通过模型来侵犯隐私。同时，该论文提出了一种新的松弛的本地差分隐私（SecLDP）来保护用户通信，假设每对连接的用户都共享一个秘密。

论文提出了一种名为Decor的去中心化随机梯度下降（SGD）变体，其中用户在一轮通信中安全地交换随机种子，生成成对抵消的相关高斯噪声，注入以保护每次通信轮次的本地模型。Decor在任意连接图中与中心DP最优隐私效用权衡相匹配，控制了由于网络稀疏性而导致的非抵消相关噪声的积累。

论文的亮点包括提出了一种新的去中心化SGD变体Decor，该方法在任意连接图中与中心DP最优隐私效用权衡相匹配；提出了一种新的松弛的本地差分隐私（SecLDP）来保护用户通信，假设每对连接的用户都共享一个秘密；论文在多个数据集上进行了实验，并提供了一个SecLDP隐私账户。

最近在这个领域中，还有一些相关的研究，如：'Differentially Private Federated Learning: A Client Level Perspective'，'Privacy Preserving Distributed Deep Learning with Asynchronous Stochastic Gradient Descent'，'Towards Practical Differential Privacy for SQL Queries'等。