Tighter Privacy Auditing of DP-SGD in the Hidden State Threat Model

机器学习模型可以通过差分隐私优化器（如DP-SGD）进行训练，从而获得正式的隐私保证。本文研究了当攻击者只能访问最终模型时的隐私保证，即不公开中间模型更新。在现有文献中，这种隐藏状态威胁模型展示了实证隐私审计提供的下限和隐私计算提供的理论上限之间的显著差距。为了挑战这种差距，我们建议使用能够制定梯度序列以最大化最终模型隐私损失的攻击者来审计此威胁模型，而不需要访问中间模型。我们通过实验证明，这种方法在审计隐藏状态模型方面始终优于先前的尝试。当在每个优化步骤中插入制作的梯度时，我们的结果意味着仅公开最终模型不会增加隐私，这提供了一种新的负面结果。另一方面，当不在每个步骤中插入制作的梯度时，我们展示了强有力的证据表明，在一般的非凸设置中存在隐私放大现象（虽然比凸设置更弱），这表明现有的隐私上限可以得到改进。

论文旨在研究在隐藏状态威胁模型下，采用DP-SGD等差分隐私优化器进行训练的机器学习模型的隐私保护问题。该模型只公开最终模型，而不公开中间模型更新。研究中存在一个实际隐私损失与理论上界之间的差距，论文试图通过对抗梯度序列的审计来挑战这个差距。

论文提出了一种对抗梯度序列的审计方法来评估隐藏状态威胁模型下的隐私保护。实验结果表明，当在每个优化步骤中插入制定的梯度时，仅公开最终模型不会放大隐私损失。然而，当不在每个步骤中插入梯度时，论文发现在非凸设置下存在隐私放大现象，这表明现有的隐私上界可以被改进。

论文的实验结果表明，对抗梯度序列的审计方法在隐藏状态威胁模型下比现有方法更为有效。此外，论文还发现在非凸设置下存在隐私放大现象，这为未来的研究提供了新的方向。

在最近的相关研究中，也有一些关于差分隐私的研究，如《Deep Learning with Differential Privacy》和《Differentially Private Empirical Risk Minimization》等。