Learning Multiple Representations with Inconsistency-Guided Detail Regularization for Mask-Guided Matting

近年来，基于遮罩引导的抠图网络已经取得了显著的改进，并在实际应用中展示了巨大的潜力。然而，这些方法仅仅从合成和缺乏真实世界多样性的抠图数据中学习抠图表示，往往会在错误的区域过度拟合低级细节，缺乏对具有复杂结构和真实世界场景（如阴影）的对象的泛化能力，同时还会受到背景线条或纹理的干扰。为了解决这些挑战，本文提出了一种新颖的辅助学习框架，用于遮罩引导的抠图模型，包括三个辅助任务：语义分割、边缘检测和背景线条检测，除了抠图之外，从不同类型的数据和注释中学习不同而有效的表示。我们的框架和模型引入了以下关键方面：（1）为了学习适应真实世界场景下具有多样化和复杂结构的对象的语义表示，我们在更多样化的真实世界数据上引入了额外的语义分割和边缘检测任务，并提供了分割注释；（2）为了避免过度拟合低级细节，我们提出了一种模块，利用学习到的分割和抠图表示之间的不一致性来规范细节的细化；（3）我们在辅助学习框架中提出了一种新颖的背景线条检测任务，以抑制背景线条或纹理的干扰。此外，我们提出了一个高质量的抠图基准Plant-Mat，用于评估在复杂结构上的抠图方法。广泛的定量和定性结果表明，我们的方法优于现有的基于遮罩引导的方法。

本文旨在解决mask-guided matting模型在真实场景下存在的问题，例如过度拟合、缺乏对复杂结构的泛化能力以及受到背景线条或纹理的干扰。

本文提出了一种新的辅助学习框架，将语义分割、边缘检测和背景线条检测三个辅助任务与matting任务结合起来，以学习不同类型的数据和注释的有效表示。

本文提出了一个高质量的matting基准Plant-Mat，用于评估matting方法在复杂结构上的表现。实验结果表明，本文的方法优于当前最先进的mask-guided方法。

在最近的研究中，也有一些关于matting的相关工作，例如《Deep Image Matting》、《Natural Image Matting》等。