Universally Harmonizing Differential Privacy Mechanisms for Federated Learning: Boosting Accuracy and Convergence

差分隐私联邦学习（DP-FL）是一种有前途的技术，可以在保证客户端可证明的隐私的同时进行协作模型训练。然而，优化隐私和准确性之间的权衡仍然是一个关键的挑战。据我们所知，我们提出了第一个DP-FL框架（即UDP-FL），它可以普遍地协调任何随机化机制（例如最优机制）与高斯矩账户（即DP-SGD），从而显著提高准确性和收敛速度。具体而言，UDP-FL通过减轻对高斯噪声的依赖来展示增强的模型性能。这种转化中的关键中介变量是R\'enyi差分隐私概念，它被谨慎地用于协调隐私预算。我们还提出了一种创新的方法来理论分析DP-FL（包括我们的UDP-FL）的收敛性，基于模式连接性分析。此外，我们通过广泛的实验对UDP-FL进行了评估，与最先进的方法进行了基准测试，展示了在隐私保证和模型性能方面的卓越表现。值得注意的是，UDP-FL展现出对不同推断攻击的相当强大的韧性，表明在联邦学习环境中保护敏感数据方面有了重大进展。

论文旨在解决差分隐私联邦学习中隐私和精度之间的权衡问题，并提出了一种新的DP-FL框架（UDP-FL）。

UDP-FL框架将任何随机化机制与高斯矩账户（DP-SGD）相结合，利用Renyi差分隐私概念来协调隐私预算，从而显著提高模型性能。

论文提出了一种新的DP-FL框架，并通过实验展示了其在隐私保证和模型性能方面的优越表现。论文还使用了创新的方法来分析DP-FL的收敛性，并展示了UDP-FL对不同推断攻击的鲁棒性。

在最近的相关研究中，也有一些关于差分隐私联邦学习的研究，例如“Federated Learning with Differential Privacy: Algorithms and Performance”和“Differentially Private Federated Learning: A Client Level Perspective”。