KAUST | 文本引导图像编辑的通用框架

【推荐理由】使用扩散模型生成图像可以通过多种方式进行控制。本文提出了5种不同的操纵方式，包括中间潜在变量、条件嵌入、交叉注意力映射、引导和预测噪声。

MDP: A Generalized Framework for Text-Guided Image Editing by Manipulating the Diffusion Path
Qian Wang, Biao Zhang, Michael Birsak
KAUST

【论文链接】https://arxiv.org/pdf/2303.16765.pdf

【项目链接】https://github.com/QianWangX/MDP-Diffusion

【摘要】使用扩散生成图像可以通过多种方式进行控制。在本文中，作者系统地分析了现代生成扩散网络的方程，提出了一个框架，称为MDP，来解释适当操作的设计空间。作者确定了5种不同的操作，包括中间潜变量、条件嵌入、交叉注意力图、指导和预测噪声。文章分析了这些操纵的相应参数和操纵时间表。作者展示了一些先前的编辑方法很好地适应了我们的框架。特别是，作者确定了一种特定的配置，通过操纵预测噪声来进行控制，可以执行比以前的工作更高质量的局部和全局编辑。