TexSliders: Diffusion-Based Texture Editing in CLIP Space

生成模型已经实现了使用自然语言进行直观图像创作和编辑的功能。特别是，扩散模型最近在自然图像编辑方面展现出了显著的成果。在这项工作中，我们提出将扩散技术应用于纹理编辑，这是3D内容创作流程中必不可少的图像类别之一。我们分析了现有的编辑方法，并表明它们不适用于纹理，因为它们常用的基本方法——操作注意力图——不适用于纹理领域。为了解决这个问题，我们提出了一种新方法，即使用CLIP图像嵌入来调节扩散生成，而不是操纵注意力图。我们使用简单的文本提示（例如，“老木材”到“新木材”）定义编辑方向，并使用纹理先验将其映射到CLIP图像嵌入空间，采用基于采样的方法，在CLIP空间中得到保持身份的方向。为了进一步提高身份保护，我们将这些方向投影到一个CLIP子空间中，该子空间最小化了由纠缠的纹理属性引起的身份变化。我们的编辑流程仅使用自然语言提示就可以轻松创建任意滑块，无需标注的基准数据。

本论文旨在使用扩散技术编辑纹理，提出了一种新的方法，使用CLIP图像嵌入来调节扩散生成。同时，该论文还试图解决现有编辑方法在纹理领域的局限性问题。

该论文的关键思路是使用CLIP图像嵌入来调节扩散生成，通过简单的文本提示来定义编辑方向，并将其映射到纹理先验中，通过采样的方式在CLIP空间中获得保留身份的方向。

该论文提出的编辑流程仅需使用自然语言提示即可创建任意滑块，无需使用标注数据。实验结果表明，该方法可以在纹理编辑方面取得良好的效果。此外，该论文还提供了开源代码。

最近的相关研究包括使用深度学习进行图像编辑的方法，如GAN和VAE等。