The Effect of Quantization in Federated Learning: A Rényi Differential Privacy Perspective

联邦学习（FL）是一种新兴的范式，它使用分布式数据进行隐私保护的机器学习具有巨大的潜力。为了增强隐私保护，FL可以与差分隐私（DP）相结合，其中涉及向模型权重添加高斯噪声。然而，FL在传输这些模型权重时面临着巨大的通信开销的挑战。为了解决这个问题，通常采用量化方法。然而，量化高斯噪声的存在引入了理解隐私保护的复杂性。本研究调查了量化对FL系统中隐私的影响。我们使用R\'enyi差分隐私（RDP）来检查量化高斯机制的隐私保证。通过推导量化高斯机制的隐私预算，我们证明较低的量化比特级别提供了更好的隐私保护。为了验证我们的理论发现，我们采用了成员推断攻击（MIA），这些攻击可以衡量隐私泄露的准确性。数值结果与我们的理论分析一致，证实量化确实可以增强隐私保护。本研究不仅增强了我们对FL中隐私和通信之间关系的理解，而且强调了量化在保护隐私方面的优势。

研究如何通过量化来提高联邦学习中的隐私保护。

通过研究Renyi差分隐私（RDP）来推导量化高斯机制的隐私预算，证明低量化位数提供了更好的隐私保护。

使用Membership Inference Attacks（MIA）验证了理论结果，并证实量化确实可以提高隐私保护。

最近的相关研究包括《Federated Learning with Differential Privacy: Algorithms and Performance》、《Privacy-Preserving Deep Learning》等。