CityGaussianV2: Efficient and Geometrically Accurate Reconstruction for Large-Scale Scenes

最近，3D高斯点绘（3DGS）在辐射场重建方面取得了革命性的进展，展现了高效且高保真的新视图合成能力。然而，由于3DGS的非结构化特性，精确表示表面，特别是在大型和复杂的场景中，仍然是一个重大挑战。在本文中，我们提出了CityGaussianV2，这是一种新的大规模场景重建方法，旨在解决与几何精度和效率相关的关键挑战。基于2D高斯点绘（2DGS）的良好泛化能力，我们解决了其收敛性和可扩展性问题。具体而言，我们实现了一种基于分解梯度的密集化和深度回归技术，以消除模糊伪影并加速收敛。为了扩大规模，我们引入了一种延长滤波器，以缓解2DGS退化导致的高斯点数量激增问题。此外，我们优化了CityGaussian管道以支持并行训练，实现了高达10倍的压缩，至少节省了25%的训练时间，并将内存使用量减少了50%。我们还在大规模场景下建立了标准几何基准。实验结果表明，我们的方法在视觉质量、几何精度以及存储和训练成本之间达到了令人满意的平衡。项目页面可在 https://dekuliutesla.github.io/CityGaussianV2/ 查看。

该论文旨在解决3D Gaussian Splatting (3DGS) 在大规模场景重建中几何精度和效率的问题，特别是如何在大型和复杂的场景中准确表示表面。这是一个重要的挑战，因为3DGS的无结构性质导致了这些问题。

论文提出了一种名为CityGaussianV2的新方法，通过结合2D Gaussian Splatting (2DGS) 的有利泛化能力，解决了其收敛性和可扩展性问题。具体来说，引入了分解梯度基的稠密化和深度回归技术，以消除模糊伪影并加速收敛。此外，还引入了一个拉伸滤波器，以缓解2DGS退化引起的高斯数量爆炸问题。为了提高训练效率，优化了CityGaussian管道，实现了高达10倍的压缩，至少节省了25%的训练时间，并减少了50%的内存使用。

该论文在多个方面展示了显著的改进，包括视觉质量、几何精度以及存储和训练成本的平衡。实验结果表明，该方法在大规模场景中表现优异。项目页面提供了详细的实验设置和结果，代码也已开源。未来的研究可以进一步探索如何在更大规模的场景中应用这些技术，以及如何与其他三维重建方法结合。

近期在这个领域中，还有一些相关的研究，例如： - "NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis" (ECCV 2020) - "Instant Neural Graphics Primitives with a Multiresolution Hash Encoding" (SIGGRAPH 2022) - "Plenoxels: Radiance Fields without Neural Networks" (CVPR 2022) - "3D Gaussian Splatting for Real-Time Radiance Field Rendering" (SIGGRAPH 2022)