On Scaling Up 3D Gaussian Splatting Training

3D高斯点描(3DGS)由于其卓越的视觉质量和渲染速度，越来越受欢迎用于3D重建。然而，3DGS的训练目前仅在单个GPU上进行，由于内存限制，它的处理高分辨率和大规模3D重建任务的能力受到限制。我们介绍了Grendel，这是一个分布式系统，旨在将3DGS参数分区并在多个GPU上并行计算。由于每个高斯影响渲染像素的一个小的动态子集，Grendel采用稀疏全对全通信将必要的高斯传输到像素分区，并执行动态负载平衡。与现有的一次使用一个摄像头视图图像进行训练的3DGS系统不同，Grendel支持使用多个视图进行批量训练。我们探索了各种优化超参数缩放策略，并发现简单的sqrt(批量大小)缩放规则非常有效。使用大规模、高分辨率场景的评估表明，Grendel通过在多个GPU上扩展3DGS参数来提高渲染质量。在Rubble数据集上，我们将4040万个高斯分布在16个GPU上，获得了27.28的测试PSNR，而在单个GPU上使用1120万个高斯时，只有26.28的PSNR。Grendel是一个开源项目，可在https://github.com/nyu-systems/Grendel-GS上获得。

论文旨在解决3D高斯喷射（3DGS）在单个GPU上训练时存在内存限制的问题，通过引入Grendel分布式系统，将3DGS参数进行分区并在多个GPU上并行计算，以提高渲染质量和速度。

Grendel采用稀疏全互联通信将必要的高斯函数传输到像素分区，并执行动态负载平衡，支持使用多个视图进行批量训练，并探索了各种优化超参数缩放策略。

该论文在大规模、高分辨率场景下使用Grendel增强了3DGS参数的渲染质量，通过将4040万高斯函数分布在16个GPU上，实现了Rubbe数据集的测试PSNR为27.28，而单个GPU上使用1120万高斯函数的PSNR为26.28。Grendel是一个开源项目，可在GitHub上获取。

最近的相关研究包括：1.《DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation》；2.《Neural Volumes: Learning Dynamic Renderable Volumes from Images》；3.《Deep Level Sets: Implicit Surface Representations for 3D Shape Inference》等。