GaussianOcc: Fully Self-supervised and Efficient 3D Occupancy Estimation with Gaussian Splatting

我们介绍了一种名为GaussianOcc的系统方法，它研究了高斯点插值在全自监督和高效的环绕视图3D占据估计中的两种用途。首先，传统的自监督3D占据估计方法仍需要传感器在训练期间提供地面真实的6D姿态。为了解决这个限制，我们提出了高斯点插值投影（GSP）模块，从相邻视图投影中提供准确的比例信息，以进行完全自监督的训练。此外，现有的方法依赖于体积渲染来学习最终的3D体素表示，使用2D信号（深度图、语义图），这既耗时又不够有效。我们提出了从体素空间（GSV）中的高斯点插值，以利用高斯点插值的快速渲染特性。因此，所提出的GaussianOcc方法实现了全自监督（无地面真实姿态）3D占据估计，且具有低计算成本的竞争性能（训练速度快2.7倍，渲染速度快5倍）。

论文旨在解决自监督三维占据估计的问题，其中传统方法需要传感器提供地面真实6D姿态信息，而这种方法的限制是什么？

通过提出Gaussian Splatting for Projection (GSP)模块和Gaussian Splatting from Voxel space (GSV)模块，论文提出了一种全自监督、高效的三维占据估计方法。GSP模块可以通过相邻视图投影提供准确的比例信息，从而实现全自监督训练。GSV模块利用高斯散射的快速渲染特性，避免了体素渲染的时间成本和效率低下的问题。因此，GaussianOcc方法可以在低计算成本的情况下实现全自监督三维占据估计，并具有竞争性能。

论文提出的GaussianOcc方法可以实现全自监督三维占据估计，并具有竞争性能。GSP模块和GSV模块分别提供了准确的比例信息和高效的渲染特性。论文使用了多个数据集进行实验，并开源了代码。值得深入研究的是如何将该方法应用于其他三维场景。

最近的相关研究包括：《DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation》、《Occupancy Networks: Learning 3D Reconstruction in Function Space》、《Implicit Functions in Feature Space for 3D Shape Reconstruction and Completion》等。