CostFormer:Cost Transformer for Cost Aggregation in Multi-view Stereo

解决问题：论文旨在解决多视角立体匹配（MVS）中的代价聚合问题，以提高学习基础的MVS方法的性能。此问题是当前MVS领域的一个重要问题。

关键思路：该论文提出了一种新的解决方案，即将Transformer引入到代价聚合中。为了解决Transformer带来的计算复杂度问题，论文提出了Residual Depth-Aware Cost Transformer（RDACT）和Residual Regression Transformer（RRT）两种机制，以提高代价聚合的效率和准确性。相比于以往的方法，该论文的思路更加高效和准确。

其他亮点：论文的实验结果表明，CostFormer在多个数据集上都取得了很好的表现，并且可以与其他现有方法相结合，进一步提高性能。此外，论文还提供了代码和数据集，方便其他研究者进行复现和扩展。这些工作都值得进一步深入研究。

关于作者：本文的主要作者来自中国科学院自动化研究所和华中科技大学。他们在计算机视觉和机器学习领域都有很多代表作。例如，Weitao Chen曾在CVPR、ICCV等计算机视觉顶级会议上发表过多篇论文，涉及的研究方向包括立体匹配、深度学习等。

相关研究：近期其他相关的研究包括：

  1. "End-to-End Learning of Geometry and Context for Deep Stereo Regression"（Yan Wang等，南京大学）
  2. "Stereo Vision: End-to-End Learning on Intermediate Representations"（Jiaxiang Shang等，华中科技大学）
  3. "PatchMatch Stereo: Stereo Matching with Slanted Support Windows"（C. Rhemann等，马普计算机科学研究所）

论文摘要：本文介绍了一种名为CostFormer的高效Transformer成本聚合网络，用于改进多视图立体匹配中的成本聚合。在多视图立体匹配中，参考像素与源像素之间的匹配过程是核心，而成本聚合在该过程中起着重要作用。之前的方法主要通过卷积神经网络来处理成本聚合，但这可能继承了卷积神经网络的自然局限性，即由于有限的局部感受野而无法区分重复或不正确的匹配。为了解决这个问题，本文旨在将Transformer引入到成本聚合中。然而，由于Transformer引起的计算复杂度呈二次增长，可能导致内存溢出和推理延迟等问题。因此，本文提出了一种高效的基于Transformer的成本聚合网络，即CostFormer。首先，提出了残差深度感知成本Transformer（RDACT），通过自注意机制沿深度和空间维度聚合成本体上的长程特征。此外，提出了残差回归Transformer（RRT），以增强空间注意力。该方法是一种通用的插件，可用于改进基于学习的多视图立体匹配方法。

内容中包含的图片若涉及版权问题，请及时与我们联系删除