Eye-for-an-eye: Appearance Transfer with Semantic Correspondence in Diffusion Models

本文介绍了一种方法，用于生成具有目标图像相同结构但颜色来自参考图像的结果，即外观转移，特别是遵循结果和参考之间的语义对应关系。例如，结果翅膀的颜色来自参考翅膀，而不是参考头部。现有的方法依赖于自注意力层内的查询-键相似性，通常会产生有缺陷的结果。为此，我们提出了一种方法，通过找到语义对应关系并根据语义对应关系显式重新排列特征来解决这个问题。广泛的实验表明，我们的方法在各个方面都表现优异：保留目标的结构并根据语义对应关系反映参考的颜色，即使两个图像没有对齐。

本文旨在解决图像外观转移的问题，即如何将目标图像的结构与参考图像的颜色相结合，同时保持语义对应关系。现有方法主要依赖于自注意力层内的查询-键相似性，但往往会产生缺陷。

本文提出了一种方法，通过查找语义对应关系并显式地重新排列特征，来解决目标图像和参考图像之间的语义对应关系，从而实现图像外观转移。

本文的方法在保持目标结构的同时，能够根据语义对应关系反映参考图像的颜色，即使两个图像没有对齐也能实现。实验表明，本文方法在各个方面都具有优越性，包括数据集的处理和代码实现。

最近的相关研究包括基于自注意力机制的图像外观转移方法，如SEAN、U-GAT-IT等。