Relative Pose Estimation through Affine Corrections of Monocular Depth Priors

单目深度估计（MDE）模型在近年来取得了显著进展。许多MDE模型旨在从单目图像中预测仿射不变的相对深度，而最近在大规模训练和视觉基础模型方面的发展使得合理估计度量（绝对）深度成为可能。然而，有效利用这些预测进行几何视觉任务，特别是相对姿态估计，仍然相对未被充分探索。虽然深度提供了丰富的跨视角图像对齐约束，但单目深度先验的固有噪声和模糊性给改进经典基于关键点的解决方案带来了实际挑战。在本文中，我们开发了三种用于相对姿态估计的求解器，这些求解器明确考虑了独立的仿射（尺度和平移）模糊性，涵盖了校准和非校准条件。我们进一步提出了一种混合估计管道，将我们提出的求解器与经典的基于点的求解器和极线约束相结合。我们发现，仿射校正建模不仅对相对深度先验有益，而且令人惊讶的是，对“度量”先验也有益。多个数据集上的结果表明，我们的方法在校准和非校准设置下都大大优于经典的基于关键点的基线和PnP-based解决方案。我们还展示了我们的方法在使用不同的特征匹配器和MDE模型时表现一致的改进，并且可以从这两个模块的最新进展中进一步受益。代码可在https://github.com/MarkYu98/madpose获取。

该论文旨在解决从单目图像中进行相对姿态估计的问题，特别是在利用单目深度估计（MDE）模型提供的深度信息时所面临的挑战。尽管MDE模型在预测相对深度和绝对深度方面取得了显著进展，但如何有效地将这些预测应用于几何视觉任务，特别是相对姿态估计，仍然是一个未充分探索的领域。

论文的关键思路是开发了三种求解器，用于相对姿态估计，这些求解器明确考虑了独立的仿射（尺度和平移）模糊性，涵盖了校准和非校准条件。此外，提出了一种混合估计管道，结合了经典的基于点的求解器和极线约束。研究发现，仿射校正建模不仅对相对深度先验有利，而且对所谓的“度量”深度也有帮助。这为提高经典关键点方法和PnP解决方案提供了新的途径。

1. 提出了三种针对相对姿态估计的新求解器，考虑了仿射模糊性。 2. 开发了一个混合估计管道，结合了传统的方法和新提出的求解器。 3. 实验结果表明，在多个数据集上，相比传统的基于关键点的方法和PnP解决方案，该方法有显著改进。 4. 方法在不同的特征匹配器和MDE模型下表现一致，并能受益于最新的进展。 5. 开源代码已发布，方便后续研究者复现实验结果并进一步优化。

最近在这个领域，其他相关研究包括： - 'Deep Fundamental Matrix Estimation' (CVPR 2018) - 'Learning Two-View Correspondences and Geometry Using CNNs' (ECCV 2018) - 'DSAC - Differentiable RANSAC for Solving Geometric Vision Tasks' (CVPR 2017) - 'Backpack: Packing More Information into Color Pixels for Joint Intrinsic Image Decomposition' (CVPR 2021) 这些研究主要集中在使用深度学习技术来改进几何视觉任务中的关键点检测、特征匹配和姿态估计。