论文标题: SINE: SINgle Image Editing with Text-to-Image Diffusion Models

论文链接: https://arxiv.org/pdf/2212.04489.pdf

代码链接: https://github.com/zhang-zx/SINE.git

本文着重讨论了如何使用扩散模型来进行图像编辑的问题。之前的工作已经证明了扩散模型在条件图像生成方面具有很强的能力，例如文本指导的图像合成。但是，在许多情况下，只有一个图像可用，例如《珍珠耳环女孩》画作。使用现有的工作来微调预先训练的扩散模型，只使用一张图片会导致严重的过拟合问题。

为了解决这个问题，我们提出了一种新的基于模型的指导方法，用于解决单图像编辑的问题。通过基于无分类器指导的模型指导，可以将单张图像训练模型中的知识蒸馏到预训练的扩散模型中，使得即使在只有一张给定图像的情况下也可以创建内容。此外，文章还提出了一种基于补丁(patch)的微调方法，可以有效地帮助模型生成任意分辨率的图像。

Figure 2. Overview of our method

Figure 3. Editing on single source image from various domains

内容中包含的图片若涉及版权问题，请及时与我们联系删除