NeRF-XL: Scaling NeRFs with Multiple GPUs

我们提出了NeRF-XL，这是一种将神经辐射场（NeRFs）分布在多个GPU上的原则性方法，从而实现了具有任意大容量的NeRFs的训练和渲染。我们首先重新审视现有的多GPU方法，这些方法将大型场景分解为多个独立训练的NeRFs，并确定了这些方法中存在的几个根本问题，这些问题阻碍了随着额外的计算资源（GPU）在训练中的使用而提高重建质量的进展。NeRF-XL解决了这些问题，并通过简单地使用更多的硬件，使NeRFs的训练和渲染具有任意数量的参数。我们方法的核心是一种新颖的分布式训练和渲染公式，数学上等价于经典的单GPU情况，并最小化GPU之间的通信。通过解锁具有任意大参数数量的NeRFs，我们的方法是首个揭示NeRFs的多GPU扩展规律的方法，显示出随着参数数量的增加重建质量的提高和随着GPU数量的增加速度的提高。我们在各种数据集上展示了NeRF-XL的有效性，包括迄今为止最大的开源数据集MatrixCity，其中包含258K张图像，涵盖了25平方公里的城市区域。

NeRF-XL试图解决的问题是如何将神经辐射场（NeRF）分布在多个GPU上，从而实现对具有任意大容量的NeRF进行训练和渲染。

该论文的关键思路是通过一种新的分布式训练和渲染公式，将NeRF分布在多个GPU上，从而实现任意大容量的NeRF的训练和渲染，并且最小化GPU之间的通信。

论文提出的NeRF-XL方法可以在任意数量的GPU上训练和渲染具有任意大容量的NeRF，是首个揭示NeRF多GPU扩展规律的方法，证明了随着参数数量的增加，重建质量和速度都会得到提高。该方法在多个数据集上进行了测试，包括最大的开源数据集MatrixCity。论文还开源了代码。

在最近的相关研究中，有一些研究也探讨了NeRF的多GPU训练和渲染，例如Multi-GPU Training of Neural Radiance Fields和NeRF in the Wild。