One-dimensional Adapter to Rule Them All: Concepts, Diffusion Models and Erasing Applications

当前商业和开源扩散模型（DMs）在文本到图像生成中的广泛使用，促使我们采取风险缓解措施以防止不良行为。学术界现有的概念擦除方法都是基于全参数或基于规范的微调，我们观察到以下问题：1）向腐蚀的生成替代：目标消除期间的参数漂移会导致所有生成物的变化和潜在变形，甚至侵蚀其他概念，尤其是多概念擦除更为明显；2）转移能力和部署效率：以前的模型特定擦除阻碍了概念的灵活组合和向其他模型的无需训练的转移，导致部署场景的线性成本增长。为了实现非侵入性、精确、可定制和可转移的消除，我们将我们的消除框架建立在一维适配器上，可以一次从大多数DMs中擦除多个概念，适用于各种擦除应用。概念半透膜结构被注入为膜（SPM）到任何DM中，以学习有针对性的擦除，同时通过一种新颖的潜在锚定微调策略有效地缓解了变化和侵蚀现象。一旦获得，SPMs可以灵活组合和即插即用于其他DMs，无需特定的重新微调，从而实现对不同场景的及时和高效适应。在生成过程中，我们的促进传输机制动态调节每个SPM的渗透性以响应不同的输入提示，进一步最小化对其他概念的影响。在大约40个概念、7个DM和4个擦除应用中的定量和定性结果已经证明了SPM的优越性。我们的代码和预调谐的SPMs将在项目页面https://lyumengyao.github.io/projects/spm上提供。

论文试图解决在文本到图像生成中，使用商业和开源扩散模型（DM）可能导致不良行为的问题。现有的概念消除方法都基于完整参数或基于规范的微调，存在生成变化、转移能力和部署效率等问题。

论文提出了一种基于一维适配器的概念半渗透膜（SPM）擦除框架，可以同时从大多数DM中擦除多个概念，而不需要特定的重新微调。SPM可以自由组合并在其他DM中使用，通过动态调节渗透性来响应不同的输入提示，进一步减少对其他概念的影响。

论文使用了40多个概念、7个DM和4个擦除应用程序进行了定量和定性结果验证，并展示了SPM的卓越擦除能力。论文提供了代码和预调的SPM，并在项目页面上进行了开源。

在这个领域中，最近的相关研究包括：1）使用对抗性训练来提高图像生成的稳健性；2）使用自注意力机制来提高图像生成的多样性。