Too Good to be True? Turn Any Model Differentially Private With DP-Weights

想象一下，用差分隐私随机梯度下降（DP-SGD）训练机器学习模型，只发现在训练后噪声水平太高，破坏了模型的效用，或者噪声水平太低，危及了隐私。令人恐惧的认识到：你必须从头开始漫长的训练过程。但是，如果你可以避免这种重新训练的噩梦呢？在这项研究中，我们介绍了一种开创性的方法（据我们所知），它在训练后将差分隐私噪声应用于模型的权重。我们为这种新方法的隐私界限提供了全面的数学证明，使用形式化方法验证了它的隐私保证，并使用成员推断攻击和性能评估进行了实证评估。这种方法允许进行一次训练运行，然后进行后期噪声调整，以实现最佳的隐私效用权衡。我们将这种新颖的微调模型（DP-Weights模型）与传统的DP-SGD模型进行比较，证明我们的方法产生了统计上相似的性能和隐私保证。我们的结果验证了训练后噪声应用的功效，承诺在微调差分隐私参数方面节省了大量时间和灵活性，使其成为在实际场景中部署差分隐私模型的实用替代方案。

在使用差分隐私随机梯度下降（DP-SGD）训练机器学习模型时，噪声水平可能过高导致模型效用受损，或者过低导致隐私泄露。本文提出了一种新方法，通过在训练后对模型的权重应用差分隐私噪声来避免重新训练模型的繁琐过程。

本文提出的方法是对已训练模型进行后处理，通过应用差分隐私噪声来优化隐私-效用权衡。与传统的DP-SGD模型相比，本文的方法可以节省大量时间和精力，同时保证了相似的性能和隐私保护水平。

本文提供了全面的数学证明和形式化验证，证明了这种方法的隐私保护边界，并使用成员推断攻击和性能评估进行了实证评估。本文的方法可以实现单次训练，后续进行后处理来实现最佳的隐私-效用权衡。

最近的相关研究包括： 1. 'Differentially Private Learning with Adaptive Clipping' by Abadi et al. (2016) 2. 'Deep Learning with Differential Privacy' by Papernot et al. (2018) 3. 'Scalable Private Learning with PATE' by Papernot et al. (2017)