NoPose-NeuS: Jointly Optimizing Camera Poses with Neural Implicit Surfaces for Multi-view Reconstruction

学习神经隐式曲面从体积渲染中已经成为多视角重建的流行方法。神经表面重建方法可以恢复复杂的三维几何结构，这对于传统的多视角立体视觉方法来说是困难的，例如非兰伯表面和薄结构。然而，这些方法的一个关键假设是知道输入多视角图像的精确相机参数，而这并不总是可用的。在本文中，我们提出了NoPose-NeuS，一种神经隐式曲面重建方法，它将NeuS扩展到联合优化几何和颜色网络的相机姿态。我们将相机姿态编码为多层感知器（MLP），并引入两个额外的损失，即多视角特征一致性和渲染深度损失，以约束学习到的几何形状，以获得更好的估计相机姿态和场景表面。在DTU数据集上的大量实验表明，所提出的方法可以估计相对准确的相机姿态，同时保持高质量的表面重建，平均Chamfer距离为0.89。

本论文试图解决的问题是在多视角重建中，由于缺乏准确的相机参数，无法使用神经隐式表面重建方法。

本文提出了NoPose-NeuS方法，将相机姿态与几何和颜色网络一起优化，使用多视图特征一致性和渲染深度损失来约束学习到的几何形状，以实现更好的相机姿态估计和场景表面重建质量。

本文的亮点在于提出了一种新的方法来解决多视角重建中的相机参数不准确的问题，并在DTU数据集上进行了广泛的实验，展示了该方法的有效性。此外，本文还提供了开源代码。

最近在这个领域中，还有一些相关研究，例如《DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation》和《PIFu: Pixel-Aligned Implicit Function for High-Resolution Clothed Human Digitization》。