Shake to Leak: Fine-tuning Diffusion Models Can Amplify the Generative Privacy Risk

最近扩散模型在生成逼真图像方面取得了显著进展，但也存在隐私风险：发布的模型或API可以生成训练图像，从而泄漏隐私敏感的训练信息。本文揭示了一种新的风险，即Shake-to-Leak（S2L），即使用操纵的数据微调预训练模型可能会放大现有的隐私风险。我们证明了S2L可能会发生在各种标准的扩散模型微调策略中，包括概念注入方法（DreamBooth和Textual Inversion）和参数高效方法（LoRA和Hypernetwork），以及它们的组合。在最坏的情况下，S2L可以将扩散模型的最新成员推理攻击（MIA）的AUC提高$5.4\%$（绝对差异），并且可以将每个目标域的提取的私有样本从几乎$0$个样本增加到平均$15.8$个样本。这一发现强调了扩散模型的隐私风险比以前认为的更加严重。代码可在https://github.com/VITA-Group/Shake-to-Leak获得。

本论文旨在揭示扰动数据对预训练模型进行微调的隐私泄露风险，即Shake-to-Leak (S2L)，并探讨它对扩散模型隐私泄露攻击的影响。

论文提出了一种新的隐私泄露风险，即S2L，它可以通过各种标准微调策略来放大现有的隐私风险，并且可以使扩散模型的成员推断攻击的性能得到显著提升。

论文通过实验验证了S2L的存在，并发现它可以将扩散模型的隐私泄露风险放大到比以前更加严重的程度。论文还开源了相关代码。

在最近的相关研究中，也有一些关于扩散模型隐私泄露的研究，例如“Membership Inference Attacks against Diffusion-based Generative Models”和“Diffusion Models Beat GANs on Image Synthesis”等。