Depth-Guided Robust and Fast Point Cloud Fusion NeRF for Sparse Input Views

稀疏输入视图的新视角合成对于AR/VR和自动驾驶等实际应用非常重要。最近的方法将深度信息集成到NeRF中，用于稀疏输入合成，利用深度先验进行几何和空间理解。然而，大多数现有的工作往往忽视深度图中的不准确性并且时间效率低下。为了解决这些问题，我们提出了一种深度引导的鲁棒快速点云融合NeRF，用于稀疏输入。我们将辐射场视为特征的显式体素网格。为每个输入视图构建一个点云，使用矩阵和向量在体素网格内进行表征。我们累积每个输入视图的点云，以构建整个场景的融合点云。每个体素通过参考整个场景的点云来确定其密度和外观。通过点云融合和体素网格微调，深度值的不准确性可以被细化或替换为其他视图的值。此外，我们的方法可以通过有效的矢量矩阵分解实现更快的重建和更大的紧凑性。实验结果强调了我们的方法相对于最先进的基线方法具有更优越的性能和时间效率。

本论文旨在解决稀疏输入视图的新视角合成问题，通过深度引导的点云融合NeRF方法提高重建精度和时间效率。

该论文提出了一种基于点云融合的NeRF方法，通过将每个输入视图的点云进行累积和整合来构建整个场景的点云，从而提高重建精度和时间效率。同时，通过向量矩阵分解实现更快的重建和更小的存储空间。

该论文的实验结果表明，相比于现有的基于深度信息的NeRF方法，该方法在重建精度和时间效率方面都有显著提高。论文使用了公开数据集，并提供了开源代码。值得进一步研究的工作包括如何进一步提高重建精度和应用该方法到更广泛的场景中。

在这个领域中，最近的相关研究包括：《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》、《Learning to Reconstruct 3D Manhattan Wireframes from a Single Image》等。