Extreme Two-View Geometry From Object Poses with Diffusion Models

人类有一种不可思议的能力，可以轻松地感知两个包含同一物体的图像之间的视角差异，即使视角变化非常巨大且图像中没有重叠区域。然而，这种卓越的技能对于现有的相机姿态估计方法来说是一个挑战，因为由于缺乏重叠的局部特征进行匹配，它们经常在面对大的视角差异时失败。在本文中，我们旨在有效利用对象先验的力量，在极端视角变化的情况下准确确定两个视角的几何关系。在我们的方法中，我们首先将相对相机姿态估计问题数学变换为对象姿态估计问题。然后，为了估计对象姿态，我们利用从扩散模型Zero123学习到的对象先验来合成对象的新视角图像。新视角图像进行匹配以确定对象姿态和两个视角的相机姿态。在实验中，我们的方法表现出了非凡的鲁棒性和抗干扰性，始终以异常的泛化能力估计两个视角的姿态，适用于合成和真实世界数据集。代码将在https://github.com/scy639/Extreme-Two-View-Geometry-From-Object-Poses-with-Diffusion-Models 上提供。

本文旨在有效利用物体先验来准确确定在极端视角变化情况下的两视图几何。在大视角差异下，现有的相机姿态估计方法常常失败，因为缺乏重叠的局部特征用于匹配。

本文的关键思路是将相机姿态估计问题数学变换为物体姿态估计问题，并利用从扩散模型Zero123学习到的物体先验来合成物体的新视图图像，进而匹配新视图图像以确定物体姿态，从而得到两视图相机姿态。

本文方法在合成和实际数据集上表现出了非凡的鲁棒性和弹性，具有出色的泛化能力。代码将在 https://github.com/scy639/Extreme-Two-View-Geometry-From-Object-Poses-with-Diffusion-Models 上提供。

近期在这个领域的相关研究还包括“Learning to Learn Single View 3D Reconstruction by Watching 2D Video”和“Unsupervised Learning of Intrinsic Structural Representation Points”。