论文标题:Learning from Synthetic Shadows for Shadow Detection and Removal 论文链接:https://arxiv.org/abs/2101.01713 代码链接:https://github.com/naoto0804/SynShadow 作者单位:东京大学 本文提出一种大规模阴影/无阴影/蒙版图像的合成数据集:SynShadow以及合成pipeline,在SynShadow上训练的阴影去除模型可以很好地去除各种阴影。而且仅对SynShadow预训练模型进行微调可改进现有的阴影检测和去除模型性能。代码和数据集刚刚开源!

阴影去除(Shadow removal)是计算机视觉和计算机图形学中的基本任务。最近的阴影去除方法对真实配对的shadow/shadow-free或shadow/shadow-free/mask 图像数据集的所有训练卷积神经网络(CNN)。然而,获得大规模,多样且准确的数据集一直是一个巨大的挑战,并且它限制了学习的模型在具有看不见的形状/强度的阴影图像上的性能。为了克服这一挑战,我们提出了SynShadow,这是一种新颖的大规模合成阴影/无阴影/蒙版图像三元组数据集以及用于对其进行合成的pipeline。我们扩展了一个 physically-grounded的阴影照明模型,并给定了无阴影图像,遮罩图像和阴影衰减参数的任意组合,从而合成了阴影图像。由于SynShadow的多样性,数量和质量,我们证明了在某些具有挑战性的基准上,在SynShadow上训练的阴影去除模型可以很好地去除具有各种形状和强度的阴影。此外,我们表明,仅对SynShadow预训练模型进行微调可以改善现有的阴影检测和去除模型。

内容中包含的图片若涉及版权问题,请及时与我们联系删除