Efficient NeRF Optimization -- Not All Samples Remain Equally Hard

我们提出了一种在线硬样本挖掘的应用，以有效训练神经辐射场（NeRF）。 NeRF模型为许多3D重建和渲染任务提供了最先进的质量，但需要大量的计算资源。在NeRF网络参数中对场景信息的编码需要随机采样。我们观察到，在训练过程中，计算时间和内存使用的主要部分都用于处理已经学习过的样本，这些样本不再对模型更新产生显着影响。我们确定随机样本的反向传递是优化过程中的计算瓶颈。因此，我们首先以推断模式进行第一次前向传递，以相对较低的成本搜索难样本。然后，通过仅使用难样本来构建计算图并更新NeRF网络参数。为了证明所提出方法的有效性，我们将其应用于Instant-NGP，结果较基线有显着的视图合成质量改进（每个训练时间平均提高1 dB，或者以2倍的速度达到相同的PSNR水平），并且使用仅难样本构建计算图可节省约40％的内存。由于我们的方法仅与网络模块进行交互，因此我们期望它具有广泛的适用性。

提高神经辐射场（NeRF）训练效率的问题

在线硬样本挖掘的应用

通过在推理模式下搜索难样本，只使用难样本来更新NeRF网络参数，从而显著提高视图合成质量和训练速度，同时节约了约40%的内存，具有广泛的适用性。

最近的相关研究包括：《DeepVoxels: Learning Persistent 3D Feature Embeddings》、《NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections》等。