SplitNeRF: Split Sum Approximation Neural Field for Joint Geometry, Illumination, and Material Estimation

我们提出了一种新颖的方法，通过估计一组固定照明下的姿态图像来数字化现实世界中的物体的几何形状、材质属性和环境光照。我们的方法将图像为基础的照明中使用的分裂求和近似方法纳入了神经辐射场（NeRF）管道，用于实时物理渲染。我们建议使用单个场景特定的MLP来建模场景的照明，该MLP表示任意分辨率的预积分图像照明。我们通过利用基于高效蒙特卡罗采样的新型正则化器来实现对预积分照明的准确建模。此外，我们提出了一种新的监督自遮挡预测的方法，利用基于蒙特卡罗采样的类似正则化器。实验结果表明，我们的方法在估计场景几何形状、材质属性和照明方面具有高效和有效的能力。我们的方法在单个NVIDIA A100 GPU上仅需约1小时的训练即可达到最先进的重照质量。

论文旨在通过一组固定光照下的姿态图像来估计真实世界物体的几何、材料属性和环境光照，并将图像光照的分裂和近似方法应用于神经辐射场（NeRF）管道。这是否是一个新问题？

论文的关键思路是使用单个场景特定MLP来建模场景的预积分图像光照，从而实现对预积分光照的准确建模，并利用基于高效Monte Carlo采样的新型正则化器来监督自遮挡预测。相比当前这个领域的研究状况，这篇论文的思路是有新意的。

论文的亮点包括使用单个场景特定MLP来建模预积分图像光照，提出了基于高效Monte Carlo采样的新型正则化器来监督自遮挡预测，实验结果表明该方法在估计场景几何、材料属性和光照方面非常有效，仅需在单个NVIDIA A100 GPU上进行约1小时的训练即可达到最先进的重照质量。

在这个领域中，最近的相关研究包括NeRF、IBR-Net和Soft3D等。