Differentially Private Fine-Tuning of Diffusion Models

将差分隐私（DP）与扩散模型（DM）集成在一起，是一个具有前途但具有挑战性的前沿领域，尤其是由于DM具有重要的记忆能力，从而带来了显著的隐私风险。差分隐私为保护模型训练期间的个体数据点提供了严格的框架，差分隐私随机梯度下降（DP-SGD）是其中一个著名的实现方法。扩散方法将图像生成分解成迭代步骤，从理论上讲，这与DP的增量噪声添加很好地契合。尽管有天然的契合度，但DM的独特架构需要量身定制的方法来有效平衡隐私-效用权衡。最近在这个领域的发展突出了在公共数据（如ImageNet）上进行预训练并在私有数据上进行微调以生成高质量合成数据的潜力，然而，在DP设置中优化权衡方面的研究存在明显的差距，特别是关于参数效率和模型可扩展性的问题。我们的工作通过提出一种针对私有扩散模型进行优化的参数高效微调策略来解决这个问题，该策略最小化可训练参数的数量，以增强隐私-效用权衡。我们通过实验证明，我们的方法在DP合成方面实现了最先进的性能，在广泛研究的数据集上显著超过了以前的基准（例如，在CelebA-64数据集上，只有0.47M可训练参数，隐私预算较小，相比先前的最先进方法提高了35%以上）。匿名代码可在https://anonymous.4open.science/r/DP-LORA-F02F上找到。

本文试图解决DP与DMs的融合问题，即如何在保护隐私的前提下，实现高质量的合成数据。

本文提出了一种针对私有扩散模型的参数高效的微调策略，以增强隐私-效用权衡。该方法在公共数据上进行预训练，然后在私有数据上进行微调，以最小化可训练参数的数量。

实验结果表明，该方法在DP合成方面取得了最先进的性能，在广泛研究的数据集上显著优于以前的基准结果。该方法仅使用0.47M可训练参数，在CelebA-64数据集上的隐私预算较小的情况下，相比以前的最先进结果提高了35%以上。匿名代码可在https://anonymous.4open.science/r/DP-LORA-F02F上找到。

相关研究包括DP和DMs的融合方法，以及在DP设置中优化隐私-效用权衡的方法。例如，DP-SGD是一种常见的DP实现方法。