Parallax Attention for Unsupervised Stereo Correspondence Learning

论文链接：https://arxiv.org/abs/2009.08250

本文提出了一种通用的视差注意力机制（PAM），进而提出视差注意力立体匹配网络（PASMnet）和视差注意力立体图像超分辨率网络（PASSRnet），均表现SOTA！作者单位：国防科技大学, 中山大学

立体图像对（Stereo image pairs）将3D场景线索编码为左右图像之间的立体匹配关系。为了利用立体图像中的3D线索，最近的基于CNN的方法通常使用cost volume技术来捕获较大差异上的立体匹配。但是，由于视差对于具有不同基准线，焦距和分辨率的立体摄像机可能会发生显著变化，因此成本技术中使用的固定最大视差会阻止它们处理视差变化较大的不同立体图像对。在本文中，我们提出了一种通用的视差注意力机制（PAM），无论视差如何变化，都可以捕获双目立体匹配。我们的PAM将对极约束与注意力机制集成在一起，以计算沿对极线的特征相似度以捕获立体声对应。基于我们的PAM，我们提出了用于视差匹配和立体图像超分辨率任务的视差注意力立体匹配网络（PASMnet）和视差注意力立体图像超分辨率网络（PASSRnet）。此外，我们为立体图像超分辨率引入了一个名为Flickr1024的新的大规模数据集。实验结果表明，我们的PAM具有通用性，并且可以在无差异的情况下有效学习大视差变化下的立体匹配。比较结果表明，我们的PASMnet和PASSRnet达到了最先进的性能。

内容中包含的图片若涉及版权问题，请及时与我们联系删除