CHOSEN: Contrastive Hypothesis Selection for Multi-View Depth Refinement

我们提出了CHOSEN，这是一个简单而灵活、强健和有效的多视角深度细化框架。它可以应用于任何现有的多视角立体摄像管线，并具有对不同多视角捕获系统（如相机相对定位和镜头）的简单通用性。给定初始深度估计，CHOSEN迭代地重新采样和选择最佳假设，并自动适应由捕获系统确定的不同度量或内部比例。我们方法的关键在于在适当的解决方案空间中应用对比学习和精心设计的假设特征，基于这些特征可以有效地区分正面和负面假设。将其集成到简单的基线多视角立体管线中，CHOSEN在深度和法向精度方面的质量比许多当前基于深度学习的多视角立体管线要好。

论文旨在提出一个简单而灵活、稳健而有效的多视角深度细化框架，以提高多视角立体视觉的深度和法向量精度。

CHOSEN是一种基于对比学习的多视角深度细化方法，其关键思路是在适当的解空间中应用对比学习，并基于精心设计的假设特征区分正负假设。

论文使用了多个数据集进行了实验，证明CHOSEN在深度和法向量精度方面优于当前许多基于深度学习的多视角立体视觉方法。该方法可以应用于任何现有的多视角立体视觉管道，并具有直接推广到不同多视角捕获系统的能力。

在这个领域中，最近的相关研究包括：《Patch-match based view synthesis for multi-view stereo》、《Multi-view stereo via volumetric graph-cuts and occlusion robust photo-consistency》、《Learning multi-scale deep features for high-resolution stereo matching》等。