FoundationStereo: Zero-Shot Stereo Matching

在深度立体匹配领域，通过针对特定领域的微调，在基准数据集上取得了巨大进展。然而，实现强大的零样本泛化能力——这是其他计算机视觉任务中基础模型的标志性特点——对于立体匹配仍然具有挑战性。我们提出了FoundationStereo，这是一种为立体深度估计设计的基础模型，旨在实现强大的零样本泛化能力。为此，我们首先构建了一个大规模（100万对立体图像）的合成训练数据集，该数据集具有高度多样性和逼真的照片效果，然后通过自动自我精选管道去除模棱两可的样本。接下来，我们设计了多个网络架构组件以增强其可扩展性，包括一个侧向调谐特征骨干网络，该网络能够从视觉基础模型中适应丰富的单目先验知识，从而缓解模拟到现实的差距，以及用于有效成本体积过滤的长程上下文推理。这些组件共同作用，使得该模型在不同领域中表现出强大的鲁棒性和准确性，树立了零样本立体深度估计的新标准。项目页面：https://nvlabs.github.io/FoundationStereo/

该论文试图解决立体匹配（stereo matching）中强零样本泛化（zero-shot generalization）能力不足的问题。尽管通过特定领域的微调可以在基准数据集上取得优异表现，但实现像其他计算机视觉任务中的基础模型那样的跨域泛化仍然是一个挑战。这是一个亟待解决的问题，因为当前的方法在未见过的数据或新领域上的表现往往不尽如人意。

关键思路是引入名为FoundationStereo的基础模型，专门用于立体深度估计，并设计其以实现强大的零样本泛化。为此，作者首先创建了一个大规模的合成训练数据集（包含100万对立体图像），这些图像具有高度多样性和逼真的视觉效果。接着，他们开发了一种自动自我精炼管道来移除模棱两可的样本。此外，还设计了若干网络架构组件，如侧调特征骨干网，用以适应来自视觉基础模型的丰富单目先验知识，从而减少模拟到现实的差距；以及长程上下文推理机制，用于有效的成本体积过滤。这些创新点使得模型能够在不同领域内保持稳健性和准确性。

这篇论文的亮点包括：1) 构建了一个大型且高质量的合成数据集，为训练提供了丰富的素材；2) 自动化的自精炼流程确保了数据的质量；3) 提出了侧调特征骨干网等新颖架构组件，增强了模型的泛化能力；4) 实验表明，该方法在多个公开数据集上实现了优秀的零样本性能；5) 开源了项目页面和代码，方便后续研究者参考和改进。未来可以进一步探索如何更好地利用真实世界的无标签数据进行预训练，或者将这种方法扩展到多视图几何问题。

近期与此相关的研究还包括《Learning to Match Stereo Images with Deep Neural Networks》、《DeepPruner: Learning Efficient Stereo Matching via Differentiable PatchMatch Pruning》、《End-to-End Trainable CNN-CRF for Semi-Supervised Stereo Matching》等。这些工作主要集中在通过深度学习技术提升立体匹配的效果，尤其是在监督学习环境下。而FoundationStereo则更侧重于解决零样本泛化问题，这为立体匹配领域带来了新的视角和技术路线。