DP-RDM: Adapting Diffusion Models to Private Domains Without Fine-Tuning

文本到图像扩散模型已经被证明存在样本级别的记忆问题，可能会复制训练图像的几乎完美副本，这可能是不可取的。为了解决这个问题，我们开发了第一个差分隐私检索增强生成算法，能够生成高质量的图像样本，并提供可证明的隐私保证。具体而言，我们假设可以访问一个在少量公共数据上训练的文本到图像扩散模型，并设计了一个差分隐私检索机制，以从私有检索数据集中检索样本来增强文本提示。我们的“差分隐私检索增强扩散模型”（DP-RDM）无需在检索数据集上进行微调即可适应另一个领域，并可以使用最先进的生成模型生成高质量的图像样本，同时满足严格的差分隐私保证。例如，在MS-COCO上评估时，我们的DP-RDM可以在隐私预算为$\epsilon=10$的情况下生成样本，同时与仅使用公共检索相比，在多达$10,000$个查询中提供$3.5$点的FID改进。

本论文旨在解决文本到图像扩散模型在样本级别上的记忆化问题，提出了一种新的差分隐私检索增强生成算法，旨在提供可证明的隐私保证。

论文提出了一种差分隐私检索增强扩散模型（DP-RDM），通过从私有检索数据集中检索样本来增强文本提示，并使用文本到图像扩散模型生成高质量图像样本，同时满足严格的差分隐私保证。

论文的实验结果表明，DP-RDM在保证隐私预算为ε=10的情况下，在MS-COCO数据集上生成的图像样本比仅使用公共检索数据集的FID提高了3.5个点。此外，DP-RDM不需要在检索数据集上进行微调即可适应另一个领域，并且可以使用最先进的生成模型生成高质量的图像样本。

与本论文相关的研究包括文本到图像生成、差分隐私和检索增强生成等方面的研究。其中一些论文包括《Generative Adversarial Text-to-Image Synthesis》、《Differentially Private Generative Adversarial Networks》、《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》等。