Receler: Reliable Concept Erasing of Text-to-Image Diffusion Models via Lightweight Erasers

本文介绍了文本到图像扩散模型中的概念消除，旨在禁止预训练扩散模型生成与目标概念相关的图像。为了进行可靠的概念消除，具备鲁棒性和局部性的特性是可取的。前者使模型不会为任何释义或学习提示生成与目标概念相关的图像，而后者保留了模型在生成非目标概念图像方面的能力。本文提出了一种名为“轻量级橡皮擦可靠概念消除”（Receler）的方法，该方法学习了一个轻量级的橡皮擦来执行概念消除，并通过提出的概念本地化正则化和对抗提示学习来增强局部性和鲁棒性。通过使用各种概念提示进行全面的定量和定性实验，验证了Receler在上述两个可取特性方面优于先前的消除方法。

本文旨在解决文本到图像扩散模型中的概念消除问题，即如何让模型不再生成与目标概念相关的图像。

本文提出了一种名为Receler的轻量级橡皮擦器，通过概念本地化正则化和对抗提示学习，增强了模型的鲁棒性和局部性，从而实现可靠的概念消除。

本文通过各种概念提示进行了全面的定量和定性实验，验证了Receler在鲁棒性和局部性方面优于先前的消除方法。此外，本文还提供了数据集和开源代码，为后续研究提供了便利。

最近的相关研究包括：1. Contrastive Learning for Unpaired Image-to-Image Translation；2. Unsupervised Image-to-Image Translation with Stacked Cycle-Consistent Adversarial Networks；3. Learning to Protect Communications with Adversarial Neural Cryptography。