MoCha-Stereo: Motif Channel Attention Network for Stereo Matching

学习型立体匹配技术已经取得了显著进展。然而，在特征通道生成过程中，现有方法不可避免地丢失了几何结构信息，导致边缘细节不匹配。本文设计了Motif Channel Attention Stereo Matching Network (MoCha-Stereo)来解决这个问题。我们提供Motif Channel Correlation Volume (MCCV)来确定更准确的边缘匹配成本。MCCV通过将捕获特征通道中共同几何结构的Motif Channel投影到特征图和成本体中来实现。此外，重建误差图的潜在特征通道中的边缘变化也影响细节匹配，我们提出了Reconstruction Error Motif Penalty (REMP)模块来进一步细化全分辨率视差估计。REMP从重建误差的典型通道特征中集成频率信息。MoCha-Stereo在KITTI-2015和KITTI-2012反射排行榜上排名第一。我们的结构在多视角立体匹配中也表现出优异的性能。代码可在https://github.com/ZYangChen/MoCha-Stereo上获得。

MoCha-Stereo论文试图解决的问题是什么信息丢失问题？论文提出的解决方案是否是一个新问题？

MoCha-Stereo的关键思路是设计了Motif Channel Correlation Volume（MCCV）和Reconstruction Error Motif Penalty（REMP）模块，通过投影捕捉特征通道中的几何结构，从而在保留几何结构信息的同时提高了边缘匹配的精度，进一步优化了全分辨率视差估计。

MoCha-Stereo的实验结果在KITTI-2015和KITTI-2012 Reflective排行榜上都排名第一，在多视角立体匹配中也表现出色。此外，代码已经在GitHub上开源。

在立体匹配领域中，最近的相关研究包括：StereoNet、PSMNet、GwcNet等。