FaithFill: Faithful Inpainting for Object Completion Using a Single Reference Image

我们提出了FaithFill，一种基于扩散的修补物体完成方法，用于逼真地生成缺失的物体部分。通常需要多个参考图像才能实现这样逼真的生成，否则生成的结果将无法忠实地保留形状、纹理、颜色和背景。在这项工作中，我们提出了一种流程，仅利用单个输入参考图像，该图像具有不同的光照、背景、物体姿态和/或视角。这个单一的参考图像用于生成要修补的物体的多个视图。我们证明FaithFill从单个参考图像中逼真地生成物体的缺失部分，同时保留背景/场景。这通过标准相似度度量、人类判断和GPT评估得到证明。我们的结果展示在DreamBooth数据集和一个新提出的数据集上。

本论文旨在通过仅使用单个参考图像，实现对缺失物体部分的真实生成，包括形状、纹理、颜色和背景的保留。这是一个新问题吗？

本论文提出了FaithFill，一种基于扩散的修补对象完成方法，利用单个参考图像生成多个视图，从而实现对缺失物体部分的真实生成。相比当前领域的研究状况，本文的关键思路是利用单张参考图像生成多个视图。

本论文在DreamBooth数据集和一个新的数据集上展示了FaithFill的效果，通过标准相似度度量、人类判断和GPT评估证明了FaithFill能够真实地生成物体的缺失部分，并保留背景/场景。值得关注的是，本文使用了单个参考图像，而不需要多个参考图像。本文的代码已经开源。

最近的相关研究包括：1.深度学习在图像修复中的应用；2.基于生成对抗网络的图像修复方法。