Private Regression via Data-Dependent Sufficient Statistic Perturbation

本文介绍了一种基于后处理私有发布边际的数据相关SSP（Sufficient Statistic Perturbation）方法，用于线性回归，发现其表现优于现有的基于数据独立的SSP方法。该方法通过添加来自简单分布的隐私噪声到充分统计量上，但是充分统计量通常可以表示为线性查询，并且可以通过数据相关机制更好地逼近。我们通过开发一种可以用充分统计量表示的近似目标，将该结果扩展到逻辑回归，并得到一种新颖且竞争力极强的逻辑回归SSP方法。我们还将其与机器学习中的合成数据建立联系：对于具有充分统计量的模型，对合成数据进行训练对应于数据相关SSP，整体效用取决于机制如何回答这些线性查询。

本文试图提出一种新的数据依赖的SSP方法，用于线性回归和逻辑回归的差分隐私保护。此外，本文还探讨了合成数据和SSP之间的联系。

本文提出了一种数据依赖的SSP方法，通过后处理隐私发布的边缘概率来实现线性回归的差分隐私保护。同时，本文还开发了一种适用于逻辑回归的近似目标函数，可以用于表达充分统计量，从而实现SSP。

本文的实验结果表明，相比于当前流行的数据独立的SSP方法，数据依赖的SSP方法在线性回归和逻辑回归的差分隐私保护方面表现更好。此外，本文还探讨了合成数据和SSP之间的联系，并提出了一些值得进一步研究的问题。

最近的相关研究包括：1. Differential Privacy for Linear Regression through Private Sampling and Perturbation；2. Differentially Private Linear Regression with Near-Optimal Utility；3. Differentially Private Data Analysis of Social Networks via Restricted Sensitivity；4. Deep Learning with Differential Privacy。