HO-Gaussian: Hybrid Optimization of 3D Gaussian Splatting for Urban Scenes

3D高斯点渲染（3D Gaussian Splatting，3DGS）的迅速发展彻底改变了神经渲染的方法，使高质量渲染的实时生产成为可能。然而，之前基于3DGS的方法在城市场景中存在限制，因为它们依赖于初始的SfM（Structure-from-Motion）点，并且难以渲染远距离、天空和低纹理区域。为了克服这些挑战，我们提出了一种名为HO-Gaussian的混合优化方法，它将基于网格的体积与3DGS管线相结合。HO-Gaussian消除了对SfM点初始化的依赖，允许渲染城市场景，并在训练过程中引入了点密集化来增强问题区域的渲染质量。此外，我们引入了高斯方向编码作为渲染管线中球面谐波的替代方法，它使视角相关的颜色表示成为可能。为了考虑多摄像头系统，我们引入了神经翘曲来增强不同摄像头之间的物体一致性。在广泛使用的自动驾驶数据集上进行的实验结果表明，HO-Gaussian在多摄像头城市数据集上实现了实时的照片级真实感渲染。

论文旨在解决3D高斯喷洒（3DGS）在城市场景中存在的问题，包括依赖于SfM点初始化和难以渲染远距离、天空和低纹理区域等限制。

论文提出了一种名为HO-Gaussian的混合优化方法，将基于网格的体积与3DGS流程相结合，消除了对SfM点初始化的依赖，使得在城市场景中进行渲染成为可能。同时，论文还引入了高斯方向编码作为球谐函数的替代方案，实现了视角相关的颜色表示。

论文的实验结果表明，HO-Gaussian在多相机城市数据集上实现了实时的照片级渲染。论文使用了广泛使用的自动驾驶数据集，并介绍了点密集化和神经扭曲等技术来提高渲染质量和物体一致性。此外，论文还提出了一些值得进一步研究的问题，如如何在更大的场景中进行渲染。

在最近的相关研究中，还有一些关于3D渲染和自动驾驶场景的研究，例如“Neural Volumes: Learning Dynamic Renderable Volumes from Images”和“Multi-View 3D Object Detection Network for Autonomous Driving”。