High-Resolution Deep Image Matting

论文链接:https://arxiv.org/abs/2009.06613

据作者称,这是第一个提出基于深度学习的高分辨率(HR)图像抠图的方法,表现SOTA!性能优于AdaMatting、GCAMatting等网络,作者单位:UIUC, Adobe研究院, 俄勒冈大学

抠图(Image Matting)是图像和视频编辑与合成的关键技术。按照惯例,深度学习方法使用整个输入图像和一个关联的trimap来使用卷积神经网络来推断alpha遮罩。这种方法在图像抠图方面设置了最新技术。但是,由于硬件限制,它们在现实世界的抠图​​应用中可能会失败,因为现实世界中用于抠像的输入图像大多具有很高的分辨率。在本文中,我们提出了HDMatt,这是第一种基于深度学习的图像抠像方法,用于高分辨率输入。更具体地说,HDMatt使用新颖的模块设计以基于patch的裁剪和拼接方式为高分辨率输入运行抠图,以解决不同patch之间的上下文相关性和一致性问题。与独立计算每个patch的基于vanilla patch的推理相比,我们使用由给定的trimap指导的新提出的跨patch上下文模块(CPC)显式地对跨patch上下文相关性进行建模。大量的实验证明了该方法的有效性及其对于高分辨率输入的必要性。我们的HDMatt方法还在Adobe Image Matting和AlphaMatting基准上设置了新的最先进性能,并在更真实的高分辨率图像上产生了令人印象深刻的视觉效果。