OE-BevSeg: An Object Informed and Environment Aware Multimodal Framework for Bird's-eye-view Vehicle Semantic Segmentation

鸟瞰（BEV）语义分割在自动驾驶系统中变得至关重要。它通过将2D多视图图像投影到3D世界空间中实现自我车辆周围环境感知。最近，由于更好的视图转换模块、更大的图像编码器或更多的时间信息，BEV分割取得了显著进展。然而，仍存在两个问题：1）缺乏对BEV空间特征的有效理解和增强，特别是在准确捕捉远距离环境特征方面；2）识别目标物体的细节。为解决这些问题，我们提出了OE-BevSeg，一种端到端的多模态框架，通过全局环境感知和局部目标物体增强来提高BEV分割性能。OE-BevSeg采用环境感知的BEV压缩器。基于关于BEV周围环境主要组成随着距离间隔增加而变化的先前知识，利用长序列全局建模来改善模型对环境的理解和感知。从丰富分割结果中的目标物体信息的角度来看，我们引入了中心感知物体增强模块，使用中心信息监督和引导分割头，从而从局部增强的角度提高分割性能。此外，我们设计了一个多模态融合分支，将多视图RGB图像特征与雷达/LiDAR特征集成，实现了显着的性能提升。广泛的实验表明，无论是仅相机还是多模态融合的BEV分割任务，我们的方法在nuScenes车辆分割数据集上都取得了遥遥领先的最先进结果，展示了在自动驾驶领域中的优越适用性。

本文旨在解决Bird's-eye-view（BEV）语义分割在自动驾驶系统中的应用问题，尤其是在准确捕捉远距离环境特征和识别目标对象的细节方面的问题。

文章提出了一种名为OE-BevSeg的多模态框架，通过全局环境感知和局部目标对象增强来提高BEV分割性能。OE-BevSeg采用环境感知BEV压缩器，利用先前关于BEV环境主要组成随着距离间隔增加而变化的知识，使用长序列全局建模来提高模型对环境的理解和感知。从丰富分割结果中的目标对象信息的角度出发，引入了中心感知对象增强模块，利用中心信息监督和引导分割头，从局部增强的角度提高分割性能。此外，设计了一个多模态融合分支，将多视角RGB图像特征与雷达/LiDAR特征相结合，实现了显著的性能提升。

实验结果表明，在仅使用相机或多模态融合BEV分割任务中，OE-BevSeg在nuScenes数据集上实现了显著的性能提升，成为该领域的最新成果。

最近的相关研究包括：'SalsaNext: Fast Semantic Segmentation of LiDAR Point Clouds for Autonomous Driving'，'Range Adaptation for 3D Object Detection in LiDAR'，'SqueezeSegV3: Spatially-Adaptive Convolution for Efficient Point-cloud Segmentation'等。