A Statistical Viewpoint on Differential Privacy: Hypothesis Testing, Representation and Blackwell's Theorem

2024年09月14日
  • 简介
    差分隐私因其强大的严格性保证而被广泛认为是隐私保护数据分析的形式化隐私标准,并且在公共服务、学术界和工业界的应用越来越广泛。尽管其起源于密码学背景,但在本文中我们认为,从根本上来说,差分隐私可以被视为一个纯粹的统计概念。通过利用大卫·布莱克威尔的信息量定理,我们的重点是基于先前的研究来证明,所有差分隐私的定义都可以从假设检验的角度进行形式化的动机说明,从而表明假设检验不仅方便,而且是推理差分隐私的正确语言。这一见解导致了$f$-差分隐私的定义,该定义通过一个表示定理扩展了其他差分隐私定义。我们回顾了使$f$-差分隐私成为数据分析和机器学习中隐私边界分析统一框架的技术。本文讨论了这一差分隐私定义在私有深度学习、私有凸优化、混合机制以及美国人口普查数据中的应用,以突出在这种框架下分析隐私边界相比现有替代方案的优势。
  • 图表
  • 解决问题
    该论文探讨了差分隐私(Differential Privacy, DP)作为一种统计概念的理论基础,并尝试从假设检验的角度重新定义和理解DP。这是一个相对较新的视角,旨在为差分隐私提供一个更统一和严谨的理论框架。
  • 关键思路
    论文的关键思路是利用David Blackwell的信息定理,从假设检验的角度重新定义差分隐私,提出了$f$-差分隐私的概念。这一概念不仅扩展了现有的差分隐私定义,还提供了一个统一的框架来分析数据处理和机器学习中的隐私边界。相比现有研究,这一方法更加系统化和数学化,有助于更好地理解和优化隐私保护技术。
  • 其它亮点
    1. 论文通过假设检验的角度重新定义了差分隐私,提出了$f$-差分隐私的概念。 2. 详细讨论了$f$-差分隐私在私有深度学习、私有凸优化、混合机制和美国人口普查数据中的应用,展示了其相对于传统方法的优势。 3. 提供了丰富的实验设计和案例分析,使用了多个实际数据集,包括MNIST、CIFAR-10等。 4. 开源了一些实现代码,便于研究人员复现和进一步探索。
  • 相关研究
    1. Dwork, C., McSherry, F., Nissim, K., & Smith, A. (2006). Calibrating Noise to Sensitivity in Private Data Analysis. TCC. 2. Abadi, M., Chu, A., Goodfellow, I., McMahan, H. B., Mironov, I., Talwar, K., & Zhang, L. (2016). Deep Learning with Differential Privacy. CCS. 3. Kairouz, P., Oh, S., & Viswanath, P. (2017). The Composition Theorem for Differential Privacy. IEEE Transactions on Information Theory. 4. Erlingsson, Ú., Feldman, V., Mironov, I., Raghunathan, A., Talwar, K., & Thakurta, A. (2019). Amplification by Shuffling: From Local to Central Differential Privacy via Anonymity. SODA.
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论