Sketch-guided Image Inpainting with Partial Discrete Diffusion Process

本文研究了基于草图引导的图像修复任务。与已经广泛研究的自然语言引导的图像修复不同，它擅长捕捉语义细节，相对较少研究的草图引导的修复在指定要修复的对象的形状和姿态方面提供了更大的用户控制能力。作为这个任务的早期解决方案之一，我们引入了一种新颖的部分离散扩散过程（PDDP）。PDDP的前向传递会破坏图像的掩蔽区域，反向传递会在使用我们提出的草图引导双向变压器条件下重建这些掩蔽区域。所提出的新型变压器模块接受两个输入——包含要修复的掩蔽区域的图像和查询草图，以建模反向扩散过程。这种策略有效地解决了草图和自然图像之间的领域差距，从而提高了修复结果的质量。在缺乏特定于该任务的大规模数据集的情况下，我们从MS-COCO合成了一个数据集，以训练和广泛评估我们提出的框架与文献中的各种竞争方法。定性和定量结果以及用户研究表明，所提出的方法修复了符合所提供草图的视觉外观的真实对象。为了促进进一步的研究，我们已经公开了我们的代码，网址为 https://github.com/vl2g/Sketch-Inpainting 。

本论文的问题是如何进行基于手绘草图的图像修复，以及如何解决草图和自然图像之间的差异问题。这是一个相对较少研究的问题。

本论文的关键思路是使用新的偏微分扩散过程（PDDP）和草图引导的双向Transformer模块来进行图像修复。这种方法可以有效地解决草图和自然图像之间的差异问题，从而提高修复结果的质量。

本论文使用MS-COCO数据集进行了大量实验，并与其他有竞争力的方法进行了比较。结果表明，本论文提出的方法可以修复逼真的物体，并且与给定草图的视觉外观相匹配。此外，本文还公开了代码，为进一步研究提供了便利。

在这个领域中，最近的相关研究包括：1. SketchyScene: Richly-Annotated Scene Sketches. 2. Deep Image Prior. 3. Image Inpainting via Generative Multi-column Convolutional Neural Networks.