PMNI: Pose-free Multi-view Normal Integration for Reflective and Textureless Surface Reconstruction

反射性和无纹理的表面仍然是多视角3D重建中的一个挑战。相机姿态标定和形状重建常常因为跨视角视觉特征不足或不可靠而失败。为了解决这些问题，我们提出了PMNI（无需姿态的多视角法线积分，Pose-free Multi-view Normal Integration），这是一种神经表面重建方法，通过利用表面法线图而非RGB图像来融入丰富的几何信息。通过在神经符号距离函数（SDF）优化框架中施加来自表面法线的几何约束以及多视角形状一致性，PMNI能够同时恢复精确的相机姿态和高保真的表面几何结构。我们在合成数据集和真实世界数据集上的实验结果表明，即使没有可靠的初始相机姿态，我们的方法在反射表面的重建中仍能达到最先进的性能。

论文试图解决多视图3D重建中反射性和无纹理表面的挑战问题，这些问题导致相机姿态校准和形状重建失败。这是一个长期存在的难题，特别是在处理反射或低纹理场景时。

论文提出了一种名为PMNI（Pose-free Multi-view Normal Integration）的新方法，通过利用表面法线图而非RGB图像来引入丰富的几何信息，并结合神经符号距离函数（SDF）优化框架，同时恢复相机姿态和高精度表面几何结构。相比传统依赖视觉特征的方法，该方法通过几何约束显著提高了对反射性物体的重建能力。

1. PMNI能够在没有可靠初始相机姿态的情况下实现高质量的3D重建；2. 方法在合成和真实世界数据集上均表现出色，尤其针对反射性表面；3. 论文展示了详细的实验设计，包括与多种基线方法的对比；4. 数据集涵盖了复杂场景，验证了方法的鲁棒性；5. 目前暂未提及代码开源情况，但其思路为后续研究提供了方向，例如如何进一步扩展到动态场景或多模态输入。

近期相关研究包括：1.《Deflectometric Shape Reconstruction Using Neural Radiance Fields》探讨了基于神经辐射场的反射表面重建；2.《Neural Reflectance Fields for Specular Surface Reconstruction》专注于镜面反射表面的建模；3.《Multi-View Reconstruction of Textureless Objects via Learned Implicit Representations》研究了无纹理物体的隐式表示学习；4.《Normal Integration for Multi-View Reconstruction》提出了基于法线整合的多视图重建方法。这些工作共同推动了复杂表面3D重建技术的发展。