Mask Guided Gated Convolution for Amodal Content Completion

我们提出了一种模型来重建部分可见的物体。该模型以加权掩码作为输入。掩码通过门控卷积被利用来将比背景更多的权重分配给遮挡实例的可见像素，同时忽略不可见像素的特征。通过从可见区域吸引更多关注，我们的模型可以比基线模型更有效地预测不可见的区域，特别是在纹理均匀的实例中。该模型在COCOA数据集及其两个子集上以自监督的方式进行训练。结果表明，与基线模型相比，我们的模型生成的输出质量更高，纹理更丰富。代码可在以下链接中找到：https://github.com/KaziwaSaleh/mask-guided。

本论文旨在解决部分可见物体的重建问题。通过使用加权掩模和门控卷积来对可见像素赋予权重，从而有效地预测不可见区域。这是否是一个新问题？

论文的关键思路是使用加权掩模和门控卷积来提高部分可见物体的重建质量。相比当前领域的研究，这篇论文提出的思路更加有效，能够生成更高质量、更丰富的纹理输出。

论文使用自监督学习的方法在COCOA数据集及其两个子集上进行训练，实验结果表明相比于基线模型，本文提出的模型能够生成更高质量、更丰富的纹理输出。此外，作者还提供了开源代码。

在最近的研究中，也有一些关于部分可见物体重建的相关研究，例如："Partial Convolution based Padding"、"Partial Multi-Head Attention"等。