Simple-RF: Regularizing Sparse Input Radiance Fields with Simpler Solutions

神经辐射场（NeRF）在场景的逼真自由视角渲染方面表现出令人印象深刻的性能。最近对NeRF的改进，如TensoRF和ZipNeRF采用了显式模型，以实现更快的优化和渲染，与采用隐式表示的NeRF相比。然而，无论是隐式还是显式的辐射场都需要对给定场景中的图像进行密集采样。当仅有稀疏视角时，它们的性能会显著下降。研究人员发现，通过监督辐射场估计的深度，可以在少量视角下有效地训练它。深度监督可以通过传统方法或预先在大型数据集上训练的神经网络来获得。虽然前者可能只提供稀疏监督，但后者可能会遇到泛化问题。与早期的方法相反，我们试图通过设计增强模型并将其与主要辐射场一起训练来学习深度监督。此外，我们旨在设计一种正则化框架，可适用于不同的隐式和显式辐射场。我们观察到，这些辐射场模型的某些特征在稀疏输入情况下过度拟合观察到的图像。我们的关键发现是，通过减少辐射场的能力，如位置编码、分解张量分量的数量或哈希表的大小，可以约束模型学习更简单的解决方案，在某些区域估计更好的深度。通过基于这种降低能力的增强模型的设计，我们获得了更好的主要辐射场深度监督。通过采用上述正则化方法，我们在包含前向和360度场景的流行数据集上实现了最先进的稀疏输入视角的视图合成性能。

如何在只有少数视角的情况下，提高神经辐射场（NeRF）等辐射场模型的视图合成性能？

通过设计增强模型并将其与主要辐射场一起训练，学习深度监督，并通过降低辐射场模型的能力限制其学习简单的解决方案，从而提高视图合成性能。

论文提出的方法在多个数据集上实现了最先进的视图合成性能，在处理只有少数视角的情况时表现尤为突出。此外，论文还设计了一种跨不同辐射场模型的正则化框架，并探讨了辐射场模型在稀疏输入情况下的过拟合问题。

与本文相关的研究包括 TensoRF 和 ZipNeRF 等对 NeRF 的改进，以及利用经典方法或预训练的神经网络监督深度估计的方法。