Neural Surface Reconstruction from Sparse Views Using Epipolar Geometry

本文解决了从稀疏视角输入中重建表面的挑战，其中由于缺失信息而导致的模糊性和遮挡造成了重大障碍。我们提出了一种名为EpiS的新方法，将极线信息纳入重建过程中。现有的稀疏视角神经表面学习方法主要集中在使用成本体积进行特征提取的平均值和方差考虑方面。相比之下，我们的方法将成本体积中的粗略信息聚合到从多个源视图提取的极线特征中，从而实现了生成细粒度的SDF感知特征。此外，我们沿着线维度采用了注意机制，以便基于SDF特征进行特征融合。此外，为了解决稀疏条件下的信息缺口，我们使用全局和局部正则化技术将单目深度估计的深度信息整合进来。全局正则化利用三元组损失函数，而局部正则化则采用导数损失函数。广泛的实验表明，我们的方法优于现有的最先进方法，特别是在稀疏和可推广的条件下。

本文旨在解决从稀疏视角输入中重建表面的挑战，其中由于缺失信息而产生的歧义和遮挡构成了重要障碍。

本文提出了一种新颖的方法，称为EpiS，将极线信息纳入重建过程中。相比现有方法，我们的方法将粗略信息从代价体积聚合到从多个源视图提取的极线特征中，从而实现了细粒度的SDF感知特征的生成。

本文还使用了注意机制来促进基于SDF特征的特征融合，同时，为了解决稀疏条件下的信息缺口，我们使用了全局和局部正则化技术从单目深度估计中集成深度信息。实验表明，我们的方法在稀疏和可推广条件下优于现有方法。

最近在这个领域中，还有一些相关的研究，如：《DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation》、《Learning Implicit Fields for Generative Shape Modeling》等。