NeRSP: Neural 3D Reconstruction for Reflective Objects with Sparse Polarized Images

本文介绍了一种名为NeRSP的神经三维重建技术，适用于具有稀疏极化图像的反射表面。反射表面的重建极具挑战性，因为镜面反射是视角相关的，因此违反了多视图立体匹配的多视图一致性。另一方面，稀疏图像输入作为一种实际的捕捉设置，通常会由于缺乏对应匹配而导致不完整或失真的结果。本文通过利用极化图像共同处理稀疏输入和反射表面的挑战。我们从极化成像模型和多视图方位一致性中推导出光度和几何线索，共同优化通过隐式神经表示建模的表面几何。根据我们在合成和真实数据集上的实验，我们仅使用6个视角作为输入，便实现了最先进的表面重建结果。

本文旨在解决反射表面的三维重建问题，该问题由于镜面反射视角依赖性而非常具有挑战性，且稀疏图像输入通常会导致不完整或扭曲的结果。

本文通过利用极化图像从光度和几何角度提取线索，并通过多视角方位一致性优化隐式神经表示的表面几何形状，从而共同处理稀疏输入和反射表面的挑战。

本文在合成和真实数据集上进行了实验，仅使用6个视角作为输入，就实现了最先进的表面重建结果。该方法的亮点在于使用了极化图像，从而解决了反射表面的挑战，并且只需要少量的图像输入就能够获得高质量的重建结果。

在这个领域中，最近的相关研究包括《Deep Reflectance Fields for Efficient BRDF and Shape Recovery》、《Multi-view Stereo with Online Surface Reconstruction》等。