Differentially Private Neural Network Training under Hidden State Assumption

我们提出了一种新的方法，名为差分隐私随机块坐标下降（DP-SBCD），用于训练神经网络并在隐藏状态假设下提供差分隐私的可证保证。我们的方法结合了Lipschitz神经网络，并将神经网络的训练过程分解为子问题，每个子问题对应于特定层的训练。通过这样做，我们扩展了差分隐私在隐藏状态假设下的分析范围，以包括非凸问题和采用近端梯度下降算法的算法。此外，与现有方法相比，我们采用了一种新的方法，利用自适应分布中采样的校准噪声，从而在实验中实现了更好的效用和隐私权衡。

本论文旨在提出一种名为DP-SBCD的新方法，用于在隐藏状态假设下训练神经网络，并提供差分隐私的可证保证。该方法将训练过程分解为子问题，每个子问题对应于特定层的训练，以此来扩展差分隐私的分析。此外，与现有方法不同，该论文采用从自适应分布中采样的校准噪声，从而产生了在效用和隐私之间的改进经验折衷。

本论文的关键思路是将神经网络的训练过程分解为子问题，并采用校准噪声从自适应分布中采样，以提供差分隐私的可证保证。这种方法扩展了差分隐私的分析，使其适用于非凸问题和采用近端梯度下降算法的神经网络。

该论文的亮点包括：1.提出了一种新的方法DP-SBCD，用于在隐藏状态假设下训练神经网络，并提供差分隐私的可证保证；2.采用校准噪声从自适应分布中采样，产生了在效用和隐私之间的改进经验折衷；3.扩展了差分隐私的分析，使其适用于非凸问题和采用近端梯度下降算法的神经网络。

在这个领域中，最近的相关研究包括：1.基于差分隐私的神经网络训练的研究；2.隐私保护机制的研究，例如局部差分隐私和全局差分隐私；3.使用噪声添加技术的差分隐私算法的研究。