SGCNeRF: Few-Shot Neural Rendering via Sparse Geometric Consistency Guidance

神经辐射场（NeRF）技术在创建新视点方面取得了重大进展。然而，当处理稀疏可用视图时，其有效性受到限制，往往由于过度拟合而导致性能下降。FreeNeRF试图通过集成隐式几何正则化来克服这一限制，这可以逐步改善几何和纹理。尽管如此，初始的低位置编码带宽会导致高频元素的排除。同时解决过度拟合和高频细节保留的综合方法的探索仍在进行中。本研究引入了一种基于特征匹配的稀疏几何正则化模块。该模块在定位高频关键点方面表现出色，从而保护细节的完整性。通过在NeRF迭代中逐步改进几何和纹理，我们揭示了一种有效的少样本神经渲染架构，称为SGCNeRF，以增强新视图合成。我们的实验表明，SGCNeRF不仅实现了优越的几何一致性结果，而且在LLFF和DTU数据集上分别提高了0.7 dB和0.6 dB的PSNR，超过了FreeNeRF。

本文旨在解决NeRF技术在处理稀疏视图时过拟合的问题，并提出了一种基于特征匹配的稀疏几何规则化模块，以同时解决过拟合和高频细节的问题。

本文提出了一种SGCNeRF架构，通过逐步改进几何和纹理，实现了有效的few-shot神经渲染，可以产生更好的几何一致性结果，并在LLFF和DTU数据集上分别比FreeNeRF提高了0.7dB和0.6dB的PSNR。

本文的亮点在于提出了一种基于特征匹配的稀疏几何规则化模块，可以保护高频关键点的完整性，同时提出了SGCNeRF架构，可以产生更好的几何一致性结果，并在LLFF和DTU数据集上分别比FreeNeRF提高了0.7dB和0.6dB的PSNR。实验使用了LLFF和DTU数据集，并提供了开源代码。

与本文相关的研究包括NeRF和FreeNeRF技术，以及用于几何规则化的其他方法，如DeepSDF和Implicit Geometric Regularization。