Uncovering the Text Embedding in Text-to-Image Diffusion Models

输入文本和生成的图像之间的对应关系表现出不透明性，其中微小的文本修改可能会导致生成的图像发生重大偏差。而作为文本和图像之间关键中介的文本嵌入在相对不充分的研究中。本文通过深入文本嵌入空间，发掘其在无需学习的框架内进行可控图像编辑和可解释的语义方向属性的能力，填补了这一研究空白。具体而言，我们确定了关于逐词嵌入和其在文本嵌入中的上下文相关性的两个关键见解，为无需学习的图像编辑提供了指导性原则。此外，我们发现文本嵌入本质上具有多样的语义潜力，并通过奇异值分解的视角进一步揭示了这一属性。这些揭示出的属性为图像编辑和语义发现提供了实用性。更重要的是，我们期望对文本嵌入的深入分析和发现可以增强对文本到图像扩散模型的理解。

本论文旨在探讨文本嵌入空间的潜力，通过无需学习的框架实现可控制的图像编辑和可解释的语义方向属性，并提供了两个关键见解。

本论文的关键思路是，通过对文本嵌入的每个单词和它们之间的上下文相关性进行深入分析，实现无需学习的图像编辑和语义发现，并通过奇异值分解（SVD）揭示文本嵌入固有的多样化语义潜力。

论文的亮点包括：1）提供了无需学习的框架实现可控制的图像编辑和可解释的语义方向属性；2）揭示了文本嵌入的多样化语义潜力；3）通过实验验证了所提出的方法的有效性，并提供了开源代码。

在这个领域中，最近的相关研究包括：1）《Generative Adversarial Text-to-Image Synthesis》；2）《Semantics-Space Analogs of Morphological Operations》；3）《Controllable Text-to-Image Generation》等。