SmartEraser: Remove Anything from Images using Masked-Region Guidance

到目前为止，对象移除主要依赖于遮罩和修复的范式，其中遮罩区域被排除在输入之外，模型只能依赖未遮罩的区域来修复缺失的部分。然而，这种方法缺乏遮罩区域的上下文信息，通常会导致性能不稳定。在这项工作中，我们引入了SmartEraser，它采用了一种新的移除范式，称为遮罩区域引导（Masked-Region Guidance）。这种范式保留了遮罩区域作为输入的一部分，并将其用作移除过程的指导。它具有几个明显的优势：(a) 它引导模型准确识别要移除的对象，防止其在输出中重新生成；(b) 由于用户遮罩通常会超出对象本身，这有助于在最终结果中保留周围的上下文信息。 基于这一新范式，我们提出了Syn4Removal，这是一个大规模的对象移除数据集，其中实例分割数据用于将对象复制并粘贴到图像上作为移除目标，而原始图像则作为真实标签。实验结果表明，SmartEraser显著优于现有方法，在对象移除方面表现出色，特别是在复杂场景和结构复杂的图像中表现尤为突出。

该论文试图解决当前图像中对象移除技术中存在的问题，即现有的遮罩和修复（mask-and-inpaint）范式缺乏对遮罩区域的上下文信息理解，导致性能不稳定。这是一个在计算机视觉领域中持续存在的挑战，尤其是在处理复杂场景时。

论文提出了一种新的范式——Masked-Region Guidance（遮罩区域引导），通过保留遮罩区域作为输入的一部分来指导模型进行更准确的对象移除。这一方法不仅帮助模型更好地识别要移除的对象，还通过保持用户遮罩周围的上下文信息，提升了最终结果的质量。相比传统的遮罩和修复方法，这种方法引入了更多的上下文信息，从而提高了稳定性和准确性。

论文的亮点包括：1) 提出了SmartEraser系统，利用Masked-Region Guidance范式显著提升了对象移除的效果；2) 创建了一个大规模的数据集Syn4Removal，用于评估和改进对象移除算法；3) 实验结果显示，SmartEraser在复杂场景中的表现优于现有方法。此外，该研究提供了开源代码，方便其他研究人员进一步探索和改进。

近年来，在对象移除领域有多个相关研究，例如：1)《Contextual Attention GANs for Image Inpainting》提出了使用注意力机制来改善图像修复；2)《Generative Image Inpainting with Contextual Attention》通过生成对抗网络结合注意力机制提高修复质量；3)《Deep Image Prior》则展示了如何使用深度学习先验知识来进行图像修复。这些研究为SmartEraser的开发提供了重要的参考和灵感。