Is a Green Screen Really Necessary for Real-Time Portrait Matting? 论文链接:https://arxiv.org/abs/2011.11961 代码链接:https://github.com/ZHKKKe/MODNet 在1080Ti上速度高达63 FPS!表现SOTA!性能优于BSHM、HAtt和SHM等网络,代码即将开源!作者单位:香港城市大学, 商汤研究院

对于没有绿幕的人像抠图,现有工作要么需要昂贵的辅助输入,要么使用计算量大的多个模型。因此,它们在实时应用程序中不可用。相比之下,我们提出了一种轻量级的抠图目标分解网络(MODNet),该网络可以实时处理来自单个输入图像的人像抠图。MODNet的设计受益于通过显式约束同时优化一系列相关的子目标。此外,由于无Trimap的方法在实践中通常会遇到域偏移问题,因此我们引入(1)基于子目标一致性的自监督策略以使MODNet适应实际数据,以及(2)一帧延迟将MODNet应用于人像视频序列时可以使结果平滑的技巧。 MODNet易于以端到端的方式进行训练。它比同时代的抠图方法快得多,并且以每秒63帧的速度运行。在这项工作中新提出的经过精心设计的人像抠图基准上,MODNet大大优于以前的无trimap的方法。更重要的是,我们的方法在日常照片和视频中取得了显著的效果。现在,您真的需要绿幕进行实时人像抠像吗?

内容中包含的图片若涉及版权问题,请及时与我们联系删除