EraseAnything: Enabling Concept Erasure in Rectified Flow Transformers

从大规模文本到图像（T2I）扩散模型中移除不想要的概念，同时保持其整体生成质量仍然是一个未解决的挑战。这一难题在新兴范式中尤为突出，例如Stable Diffusion (SD) v3和Flux，它们引入了流匹配和基于Transformer的架构。这些进步限制了现有概念擦除技术的可迁移性，而这些技术最初是为之前的T2I范式（如SD v1.4）设计的。在这项工作中，我们引入了EraseAnything，这是第一个专门针对最新基于流的T2I框架开发的概念擦除方法。我们将概念擦除问题表述为一个双层优化问题，采用基于LoRA的参数调优和注意力图正则化器来选择性地抑制不良激活。此外，我们提出了一种自对比学习策略，以确保移除不想要的概念不会无意中损害与之无关的概念的表现。实验结果表明，EraseAnything成功填补了早期方法在此新T2I范式中的研究空白，在广泛的概念擦除任务中达到了最先进的性能。

该论文试图解决从最新的文本到图像（T2I）扩散模型中移除不想要的概念，同时保持其整体生成质量的问题。这是一个相对较新的问题，特别是在像Stable Diffusion v3和Flux这样的新兴框架中，这些框架采用了流匹配和基于Transformer的架构，使得传统的概念擦除技术难以直接应用。

论文的关键思路是将概念擦除问题表述为一个双层优化问题，并引入了EraseAnything方法。该方法利用LoRA（低秩适应）参数调整和注意力图正则化来选择性地抑制不希望的激活。此外，还提出了一种自对比学习策略，以确保在移除不想要的概念时不会对其他无关概念的表现造成损害。这种处理方式针对最新一代的T2I模型进行了优化，体现了创新。

实验结果表明，EraseAnything在一系列概念擦除任务上达到了最先进的性能水平。该研究不仅填补了现有方法在新T2I范式下的空白，而且提供了开源代码，便于社区复现和进一步探索。未来值得深入研究的方向包括但不限于改进自对比学习机制、探索更广泛的应用场景以及与其他先进技术的结合。

最近在这个领域的一些相关研究包括：1. 'Textual Inversion for Concept Manipulation in Text-to-Image Models'，探讨了通过文本反转实现概念操作；2. 'DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Specific Generation'，专注于特定主题的生成；3. 'Concept Erasure in Generative Adversarial Networks'，讨论了GAN中的概念擦除技术。