Zero-shot Image Editing with Reference Imitation

本文提出了一种新的图像编辑方式，称为“模仿式编辑”，旨在帮助用户更方便地发挥创造力。具体而言，用户可以直接从一些在线相对应的图片中汲取灵感，而无需考虑参考图片与源图片之间的匹配。这种设计要求系统自动弄清楚如何从参考图片中获取信息以进行编辑。为此，我们提出了一种生成式训练框架——MimicBrush，它随机选择视频片段中的两个帧，遮盖其中一个帧的一些区域，并学习使用另一个帧的信息来恢复遮盖的区域。通过这种方式，我们从扩散先验中开发出的模型能够以自监督的方式捕捉不同图像之间的语义对应关系。我们在各种测试案例下实验表明了我们方法的有效性以及其优于现有替代方法的优越性。我们还构建了一个基准来促进进一步的研究。

本文旨在提出一种新的图像编辑方式，即模仿式编辑，以更方便地激发用户的创造力。该方法要求系统自动理解用户参考图像的含义并进行编辑，以解决用户在编辑过程中难以准确描述所需编辑效果的问题。

本文提出了一种基于扩散先验的生成式训练框架MimicBrush，该框架从视频片段中随机选择两个帧，遮盖其中一个帧的某些区域，并学习使用另一个帧的信息恢复被遮盖的区域。通过这种方式，模型能够自我监督地捕捉不同图像之间的语义对应关系。

本文实验结果表明，MimicBrush方法在各种测试情况下均有效，并且优于现有的替代方法。此外，作者还构建了一个基准来促进进一步的研究。值得注意的是，本文提出的模仿式编辑方法可以让用户直接从参考图像中获取灵感，无需考虑参考图像与原图像之间的适配问题。

在这个领域中，最近的一些相关研究包括：Image Inpainting with Learnable Bidirectional Attention Maps (ICCV 2019)、Generative Image Inpainting with Contextual Attention (CVPR 2018)等。