Shake to Leak: Fine-tuning Diffusion Models Can Amplify the Generative Privacy Risk

最近扩散模型在生成逼真图像方面取得了显著进展，但同时也带来了隐私风险：发布的模型或API可能会生成训练图像，从而泄露隐私敏感的训练信息。在本文中，我们揭示了一种新的风险，即Shake-to-Leak（S2L），即使用操作过的数据微调预训练模型可能会放大现有的隐私风险。我们证明了S2L可能发生在各种标准的扩散模型微调策略中，包括概念注入方法（DreamBooth和Textual Inversion）和参数高效方法（LoRA和Hypernetwork），以及它们的组合。在最坏的情况下，S2L可以将扩散模型的最新成员推断攻击（MIA）的AUC值提高$5.4\%$（绝对差异），并且可以将从几乎$0$个样本提取的私有样本增加到每个目标域平均$16.3$个样本。这一发现强调了扩散模型的隐私风险比以前认为的更为严重。代码可在https://github.com/VITA-Group/Shake-to-Leak上获得。

本文旨在揭示扰动模型在微调预训练模型时可能会放大隐私风险的新风险，即Shake-to-Leak（S2L）。研究人员发现，这种风险可能会在各种标准微调策略中出现，包括概念注入方法（DreamBooth和Textual Inversion）和参数高效方法（LoRA和Hypernetwork）以及它们的组合。这个问题是一个新问题吗？

本文提出了一种新的隐私风险，即Shake-to-Leak（S2L），并探讨了它如何在微调扰动模型时放大现有的隐私风险。研究人员发现，S2L可能会放大最先进的扰动模型成员推理攻击（MIA）的隐私风险。他们提出了几种对抗S2L的方法。

本文的实验结果表明，S2L可能会放大扰动模型的隐私风险，这一问题比以前认识到的更为严重。研究人员还提出了几种对抗S2L的方法，并在多个数据集上进行了实验验证。代码已经开源。

在这个领域中，最近的相关研究包括：1. Diffusion Models Beat GANs on Image Synthesis (NIPS 2020)；2. Membership Inference Attacks against Diffusion Models (ICLR 2021)；3. Exploring the Vulnerability of Diffusion Models against Adversarial Attacks (CVPR 2021)。