Inpainting-Driven Mask Optimization for Object Removal

本文提出了一种优化掩膜的方法，以提高使用图像修复技术进行物体移除的质量。虽然许多修复方法是使用一组随机掩膜进行训练，但在许多实际情况下，需要修复的目标可能是一个物体，例如人物。训练和推断图像之间的这种领域差距增加了修复任务的难度。在我们的方法中，我们通过使用分割提取的物体掩膜来训练修复网络，并在推断步骤中使用这些物体掩膜来解决这种领域差距。此外，为了优化修复的物体掩膜，分割网络被连接到修复网络，并进行端到端训练以提高修复性能。我们的掩膜扩展损失进一步增强了这种端到端训练的效果，以实现大掩膜和小掩膜之间的权衡。实验结果表明，我们的方法可以更好地使用图像修复技术进行物体移除。

提出了一种优化掩模的方法，以提高使用图像修复进行物体去除的质量。该方法旨在解决训练和推理图像中掩模之间的领域差距，这增加了修复任务的难度。

通过使用分割提取的对象掩模进行训练和推理，连接分割网络和修复网络进行端到端训练，使用掩模扩展损失来实现大型和小型掩模之间的权衡，来优化图像修复的对象掩模。

论文的实验结果证明了该方法对于使用图像修复进行更好的物体去除的有效性。使用了分割网络提取的对象掩模进行训练和推理，并使用掩模扩展损失来优化掩模。实验使用了多个数据集，并且开源了代码。

最近的相关研究包括：Deep Image Prior, Generative Image Inpainting, Partial Convolution based Image Inpainting等。