Learning with User-Level Local Differential Privacy

用户级隐私在分布式系统中非常重要。以前的研究主要集中在中心模型上，而本地模型得到的关注要少得多。在中心模型下，用户级差分隐私严格强于项目级差分隐私。然而，在本地模型下，用户级和项目级局部差分隐私之间的关系变得更加复杂，因此分析变得至关重要。在本文中，我们首先分析均值估计问题，然后将其应用于随机优化、分类和回归。特别地，我们提出了自适应策略，以实现所有隐私水平的最佳性能。此外，我们还获得了信息论下界，表明所提出的方法在对数因子上是极小化最优的。与中心差分隐私模型不同的是，在本地模型下，对于有界支持分布，用户级和项目级情况的收敛速度几乎相同。对于重尾分布，用户级速率甚至比项目级速率更快。

本论文旨在解决分布式系统中用户级隐私保护的问题。相比中心化模型，本地模型的用户级和项目级差异更加复杂，因此需要分析其不同之处。本论文首先分析均值估计问题，然后将其应用于随机优化、分类和回归。特别地，本文提出了自适应策略，以实现所有隐私级别的最佳性能。此外，本文还获得了信息论下界，表明所提出的方法在对数因子内是极小化的。与中心化DP模型不同的是，在本地模型中，对于有界支持分布，用户级DP和项目级DP的收敛速度几乎相同。对于重尾分布，用户级速度甚至比项目级更快。

本论文的关键思路是在本地模型下分析用户级和项目级LDP之间的关系，并提出自适应策略以实现最佳性能。与中心化模型不同，本文的结果表明，在本地模型中，用户级和项目级的DP收敛速度几乎相同。

本论文提出了自适应策略以实现所有隐私级别的最佳性能，并获得了信息论下界。本文的结果表明，在本地模型中，用户级和项目级的DP收敛速度几乎相同，甚至对于重尾分布，用户级速度更快。本文的实验设计详细，使用了多个数据集，并提供了开源代码。值得进一步研究的是如何将本文的方法应用于其他机器学习任务。

最近在这个领域中，还有一些相关的研究，如《Differentially Private Learning with Adaptive Clipping》、《Differentially Private Empirical Risk Minimization of Lipschitz Functions》等。