PATE-TripleGAN: Privacy-Preserving Image Synthesis with Gaussian Differential Privacy

条件生成式对抗网络（CGANs）凭借其生成逼真的标记图像的能力，在监督学习模型训练方面展现出了显著的潜力。然而，许多研究表明CGANs模型存在隐私泄露风险。解决方案DPCGAN将差分隐私框架纳入其中，但面临着依赖标记数据进行模型训练和由于过度梯度剪裁而可能破坏原始梯度信息等挑战，使得确保模型准确性变得困难。为了解决这些挑战，我们提出了一个隐私保护训练框架，称为PATE-TripleGAN。该框架包括一个分类器来预分类未标记数据，建立一个三方极小极大博弈来减少对标记数据的依赖。此外，我们提出了一种基于私有教师集成（PATE）框架和差分隐私随机梯度下降（DPSGD）方法的混合梯度失敏算法。该算法可以更有效地保留梯度信息，同时确保隐私保护，从而增强模型的效用。隐私分析和广泛的实验验证了PATE-TripleGAN模型可以生成更高质量的标记图像数据集，同时确保训练数据的隐私。

本论文旨在解决CGANs模型在生成真实标注图像的同时，泄露隐私的问题。DPCGAN模型存在依赖标注数据和梯度剪辑等问题，因此需要提出新的隐私保护训练框架。

PATE-TripleGAN框架引入分类器对未标注数据进行预分类，建立三方博弈模型以减少对标注数据的依赖。同时，使用基于PATE和DPSGD的混合梯度抑制算法，更有效地保护隐私同时保留梯度信息，提高模型效用。

论文在MNIST和CIFAR-10数据集上进行了实验，证明了PATE-TripleGAN模型在保护隐私的同时，生成更高质量的标注图像数据集。此外，论文还提供了开源代码。

近期的相关研究包括：1. DP-CGAN：基于差分隐私的CGAN模型。2. PATE-GAN：基于PATE框架的GAN模型。