ObjectClear: Complete Object Removal via Object-Effect Attention

物体移除不仅需要消除目标物体本身，还需要去除其产生的效果，例如阴影和反射。然而，基于扩散模型的修复方法常常会产生伪影、生成不相关的虚假内容、改变背景，并且难以准确地移除物体效果。为了解决这一挑战，我们引入了一个新的数据集，名为 OBER（OBject-Effect Removal），该数据集提供了带有和不带物体效果的配对图像，以及针对物体及其相关视觉伪影的精确掩码。该数据集包含高质量的真实捕捉数据和模拟数据，涵盖了多样的物体类别和复杂的多物体场景。基于 OBER 数据集，我们提出了一种新型框架——ObjectClear，该框架通过引入一种物体效果注意力机制，利用学习到的注意力掩码引导模型专注于前景移除区域，从而有效解耦前景移除与背景重建的过程。此外，预测的注意力图在推理阶段实现了注意力引导的融合策略，极大地保留了背景细节。大量实验表明，ObjectClear 在物体效果移除的质量和背景保真度方面优于现有方法，尤其是在复杂场景中表现尤为突出。

论文试图解决的目标是物体及其视觉效果（如阴影和反射）的精确移除问题。这是计算机视觉领域中图像修复的一个长期挑战，尤其是在复杂的多物体场景下，现有的扩散模型容易引入伪影、背景扭曲或无法准确处理物体效果。虽然这不是一个全新的问题，但论文提出了更精细的数据集和方法来应对这些难点。

关键思路是引入OBER数据集，包含配对的图像和精准的掩码，用于训练ObjectClear框架。该框架通过一种object-effect attention机制，将前景移除与背景重建解耦，并在推理阶段使用注意力引导融合策略以保留背景细节。相比现有方法，ObjectClear通过学习注意力掩码来更好地定位需要移除的区域，从而减少对背景的干扰。

亮点包括：1) 提出了高质量的OBER数据集，涵盖了多样化的物体类别和复杂场景；2) 设计了ObjectClear框架，结合注意力机制和融合策略，显著提升了物体效果移除的质量；3) 实验验证了该方法在复杂场景下的优越性，特别是在背景保真度方面；4) 数据集和代码均已开源，为后续研究提供了宝贵的资源。未来可进一步探索动态场景中的物体效果移除。

近期相关研究包括：1) 使用生成对抗网络（GANs）进行图像修复的工作，如DeepFill v2；2) 基于扩散模型的图像编辑方法，例如DALL·E系列；3) 特定任务的研究，如《Shadow Removal in Complex Scenes》和《Reflection Removal via Deep Learning》；4) 注意力机制在图像修复中的应用，如《Attention-guided Image Inpainting》。