Depth-guided NeRF Training via Earth Mover's Distance

神经辐射场（NeRF）的训练旨在最小化预测视角的渲染损失。然而，光度损失通常不能提供足够的信息来消除产生相同图像的不同可能几何形状之间的歧义。因此，先前的工作在NeRF训练过程中引入深度监督，利用经过预训练的深度网络的密集预测作为伪地面实况。虽然这些深度先验在过滤噪声后被认为是完美的，但在实践中，它们的准确性更具挑战性。本研究提出了一种新的深度先验不确定性NeRF监督方法。我们不使用自定义训练的深度或不确定性先验，而是使用现成的预训练扩散模型来预测深度并在去噪过程中捕捉不确定性。由于我们知道深度先验容易出现错误，因此我们建议使用地球移动距离来监督射线终止距离分布，而不是通过L2损失强制渲染深度精确复制深度先验。我们的深度引导NeRF在标准深度指标上的表现远远优于所有基线，同时在光度度量上保持性能。

论文旨在提高NeRF模型的深度监督，以提高图像重建的精度和准确性。

使用预训练的扩散模型来预测深度和捕获去噪过程中的不确定性，以监督射线终止距离分布，而不是通过L2损失强制要求渲染深度精确复制深度先验。

论文的实验结果表明，这种深度引导的NeRF在标准深度指标上优于所有基线，同时在光度度量上保持性能。此外，使用预训练的扩散模型可以更好地捕捉深度先验的不确定性。

最近的相关研究包括：《NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections》、《Learning to See in the Dark》、《DeepVoxels: Learning Persistent 3D Feature Embeddings》等。