iComMa: Inverting 3D Gaussians Splatting for Camera Pose Estimation via Comparing and Matching

我们提出了一种名为iComMa的方法来解决计算机视觉中的6D姿态估计问题。传统的姿态估计方法通常依赖于目标的CAD模型或需要特定的网络训练来适应特定的物体类别。一些现有的方法通过采用神经辐射场（NeRF）的反演来处理无网格6D姿态估计，旨在克服上述约束。然而，它仍然受到不良初始化的影响。相比之下，我们将姿态估计建模为反演3D高斯点阵（3DGS）的问题，同时采用比较和匹配损失。具体而言，采用渲染和比较策略进行精确的姿态估计。此外，设计了一个匹配模块，通过最小化2D关键点之间的距离来增强模型对不良初始化的鲁棒性。该框架系统地融合了渲染和比较以及基于匹配的方法的独特特点和内在原理。这种全面考虑使该框架能够有效地处理更广泛范围的复杂和具有挑战性的场景，包括具有大量角度偏差的实例，同时保持高水平的预测准确性。实验结果表明，我们提出的联合优化框架在挑战性场景下对合成和复杂的真实世界数据具有优越的精度和鲁棒性。

论文旨在解决计算机视觉中的6D姿态估计问题，该问题通常依赖于目标的CAD模型或需要特定的网络训练，限制了其应用范围。

论文提出了一种名为iComMa的方法，将姿态估计建模为反演3D高斯喷洒（3DGS）的问题，并采用渲染和比较策略以及匹配模块来提高模型的鲁棒性。

论文的实验结果表明，iComMa方法在合成和复杂的真实世界数据中都具有优越的精度和鲁棒性。论文还提到了一些值得关注的地方，例如使用了渲染和比较以及匹配的综合策略，以及在处理具有大角度偏差的复杂场景时的出色表现。

最近的相关研究包括使用神经辐射场（NeRF）进行无网格6D姿态估计的方法，以及依赖于目标CAD模型或特定网络训练的传统姿态估计方法。