Exploring Low-Dimensional Subspaces in Diffusion Models for Controllable Image Editing

最近，扩散模型已成为一类强大的生成模型。尽管它们非常成功，但对它们的语义空间的理解仍然有限。这使得在不需要额外训练的情况下精确且分离的图像生成变得具有挑战性，特别是在无监督的情况下。在这项工作中，我们从有趣的观察中改善了对扩散模型中语义空间的理解：在一定范围的噪声水平中，（1）扩散模型中的学习后验均值预测器（PMP）是局部线性的，（2）其雅可比矩阵的奇异向量位于低维语义子空间中。我们提供了一个坚实的理论基础来证明PMP中的线性和低秩性。这些见解使我们能够提出一种无监督、单步、无需训练的低秩可控图像编辑（LOCO Edit）方法，以进行扩散模型中的精确局部编辑。LOCO Edit确定了具有良好属性的编辑方向：均匀性、可转移性、可组合性和线性。LOCO Edit的这些属性极大地受益于低维语义子空间。我们的方法可以进一步扩展到各种文本到图像扩散模型中的无监督或文本监督编辑（T-LOCO Edit）。最后，广泛的实证实验证明了LOCO Edit的有效性和效率。代码将在https://github.com/ChicyChen/LOCO-Edit发布。

论文试图解决的问题是扩散模型中语义空间的理解不足，导致难以实现精确和解耦的图像生成。同时，论文提出了一种无需额外训练的 LOCO Edit 方法，用于扩散模型中的精确局部编辑。

论文的关键思路是通过观察到在一定范围的噪声水平内，扩散模型中的后验均值预测器（PMP）是局部线性的，并且其雅可比矩阵的奇异向量位于低维语义子空间中，从而提高对语义空间的理解。基于这些见解，提出了 LOCO Edit 方法，其具有低维语义子空间的均匀性、可传递性、可组合性和线性性等良好特性。

论文的亮点包括提出了无需额外训练的 LOCO Edit 方法，用于扩散模型中的精确局部编辑。该方法具有低维语义子空间的均匀性、可传递性、可组合性和线性性等良好特性。此外，论文提供了一个坚实的理论基础来证明 PMP 中的线性和低秩性。论文还进行了大量实验，证明了 LOCO Edit 的有效性和高效性，并提供了开源代码。

最近在这个领域中，还有一些相关研究被进行。例如，Diffusion Models 作为生成模型的一种新型方法，近年来得到了广泛的研究。另外，图像编辑也是计算机视觉领域的一个热门研究方向。