Reducing Shape-Radiance Ambiguity in Radiance Fields with a Closed-Form Color Estimation Method

神经辐射场（NeRF）可以合成3D场景的尖端逼真的新视角图像。它包括密度和颜色场，分别用于建模场景的形状和辐射。在端到端的训练方式中，受光度损失的监督，NeRF固有地遭受形状-辐射模糊问题，即它可以完美地拟合训练视角，但不能保证正确分离两个场。为了解决这个问题，现有的工作已经加入了先验知识，为密度场提供独立的监督信号，包括总变差损失、稀疏性损失、畸变损失等。这些损失基于密度场的一般假设，例如，它应该是平滑的、稀疏的或紧凑的，这些假设对特定场景不是自适应的。本文提出了一种更自适应的方法来减少形状-辐射模糊。关键是一种仅基于密度场的渲染方法。具体来说，我们首先基于密度场和姿态图像在闭合形式下估计颜色场。然后NeRF的渲染过程可以继续进行。我们解决了估计颜色场时遇到的问题，包括遮挡和非均匀分布的视角。然后，它被应用于规范化NeRF的密度场。由于我们的规范化是由光度损失指导的，因此与现有方法相比更具自适应性。实验结果表明，我们的方法在定性和定量上都改善了NeRF的密度场。我们的代码可在https://github.com/qihangGH/Closed-form-color-field找到。

解决问题：论文试图解决NeRF模型中的shape-radiance ambiguity问题，提出更加自适应的方法来降低该问题的影响。

关键思路：论文提出一种基于密度场的渲染方法，通过密度场估计颜色场，从而更好地区分密度场和颜色场。同时，该方法的正则化过程也更加自适应。

其他亮点：论文设计了实验来验证该方法的有效性，结果表明该方法在定量和定性方面都有所提升。此外，作者还开源了代码，方便其他研究者使用和改进。

相关研究：NeRF模型的shape-radiance ambiguity问题一直是研究的热点，之前的解决方法包括total variation loss、sparsity loss、distortion loss等。