Normal-guided Detail-Preserving Neural Implicit Functions for High-Fidelity 3D Surface Reconstruction

神经隐式表示已成为三维重建的一种强有力的范例。然而，尽管这些方法很成功，但现有方法无法捕捉细微的几何细节和薄结构，特别是在只有对象的稀疏RGB视图可用的情况下。我们假设从RGB或RGBD图像学习神经隐式表示的现有方法会产生缺失部分和细节的3D表面，因为它们仅依赖于0阶微分特性，即3D表面点及其投影作为监督信号。然而，这些特性并不捕捉点周围的局部3D几何形状，也忽略了点之间的交互。本文证明，使用一阶微分特性，即表面法线，训练神经表示会导致高度准确的3D表面重建，即使只有两个RGB（前后）图像可用的情况下。给定一个对象的多视角RGB图像，我们首先使用Depth Anything模型等现成的单目深度估计器产生的深度图梯度在图像空间中计算出近似的表面法线。然后，使用一个损失函数训练一个隐式表面回归器，该函数强制要求回归表面的一阶微分特性与Depth Anything估计的特性相匹配。我们在各种真实和合成数据集上进行了广泛的实验，结果表明，即使只使用两个RGB视图，所提出的方法也实现了前所未有的重建精度。详细的消融研究还表明，基于法线的监督在这种显著的性能改进中发挥了关键作用，使得以前难以捕捉的复杂几何细节和薄结构得以重建。

如何从只有几个稀疏的RGB视图的情况下，准确地重建3D表面的细节和薄结构？

使用表面法线作为监督信号来训练神经隐式表示，以获取第一阶微分属性，从而捕捉3D表面周围的局部几何形状和点之间的交互，从而实现高度准确的3D表面重建。

该论文提出的方法在使用仅两个RGB视图的情况下实现了前所未有的重建精度，并且可以捕捉之前难以捕捉的复杂几何细节和薄结构。实验使用了多种真实和合成数据集，并展示了该方法的有效性。该方法使用了Depth Anything模型来估计深度图，使用了表面法线作为监督信号来训练神经隐式表示。

在这个领域中，最近的相关研究包括：《DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation》、《Occupancy Networks: Learning 3D Reconstruction in Function Space》、《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》等。