MACE: Mass Concept Erasure in Diffusion Models

这篇论文介绍了MACE，一个针对大规模文本到图像扩散模型的微调框架，旨在防止模型生成包含不良或误导性内容的图像。该任务的目的是在提示时防止模型生成包含不想要的概念的图像。现有的概念消除方法通常只能处理少于五个概念，难以在消除概念同义词（普遍性）和保留不相关概念（特异性）之间找到平衡点。相比之下，MACE通过利用闭合式交叉注意力细化和LoRA微调成功将消除范围扩大到100个概念，并在普遍性和特异性之间取得了有效的平衡。此外，MACE集成了多个LoRA而不会相互干扰。作者在四个不同的任务上对MACE进行了广泛的评估：物体消除、名人消除、显式内容消除和艺术风格消除。结果表明，MACE在所有评估任务中都超过了以前的方法。代码可在https://github.com/Shilin-LU/MACE上获得。

本论文旨在解决大规模文本生成图像模型可能被滥用以创建有害或误导性内容的问题，提出了MACE框架，用于大规模概念消除任务。

MACE通过利用闭式交叉注意力细化和LoRA微调相结合的方式，成功将消除范围扩大到100个概念，并在广泛评估中显示出更好的性能。

论文在四个不同的任务上进行了广泛的评估：物体消除、名人消除、显式内容消除和艺术风格消除。实验结果表明，MACE在所有评估任务中均优于现有方法。论文提供了代码链接。

最近的相关研究包括：《Generative Adversarial Text-to-Image Synthesis》、《Image-to-Image Translation with Conditional Adversarial Networks》等。