GaussianBeV: 3D Gaussian Representation meets Perception Models for BeV Segmentation

鸟瞰图（BeV）表示法广泛用于从多视角相机图像进行三维感知。它允许将来自不同相机的特征合并到一个共同的空间中，提供了三维场景的统一表示。关键组件是视图变换器，它将图像视图转换为BeV。然而，基于几何或交叉注意力的实际视图变换器方法不能提供足够详细的场景表示，因为它们使用的三维空间子采样对于建模环境的细节结构来说是非最优的。在本文中，我们提出了GaussianBeV，一种新的方法，通过使用一组位于三维空间中的3D高斯来精细地表示场景，将图像特征转换为BeV。然后，通过适应基于高斯喷洒的3D表示渲染的最新进展，将该表示喷洒以产生BeV特征图。GaussianBeV是第一种使用这种3D高斯建模和3D场景渲染过程的方法，即在线使用，即在不针对特定场景进行优化的情况下，直接集成到BeV场景理解的单阶段模型中。实验表明，所提出的表示法非常有效，并将GaussianBeV定位为nuScenes数据集上BeV语义分割任务的最新技术。

本论文旨在解决多视角相机图像的三维感知问题，提出了一种新的Bird's-eye View（BeV）表示方法，旨在更好地表达场景的细节结构。

本论文提出了一种名为GaussianBeV的新方法，通过使用一组在三维空间中定位和定向的三维高斯函数来细致地表示场景，并将其散布到BeV特征图中。这种方法是第一次在线使用这种三维高斯建模和三维场景渲染过程，并直接集成到单阶段的BeV场景理解模型中。

论文使用了nuScenes数据集进行实验，并将GaussianBeV与其他方法进行了比较。实验结果表明，GaussianBeV在BeV语义分割任务上具有很高的准确性，超过了之前的方法。此外，论文还提供了开源代码。

在这个领域中，最近的相关研究包括：PolarNet、RangeNet++、SalsaNext等。