BLOS-BEV: Navigation Map Enhanced Lane Segmentation Network, Beyond Line of Sight

鸟瞰图（BEV）表示对于自动驾驶任务的感知功能至关重要。平衡BEV表示的精度、效率和范围是困难的。现有的工作仅限于50米以内的有限感知范围。扩展BEV表示范围可以通过提供更全面的信息和反应时间，极大地有益于拓扑推理、场景理解和规划等下游任务。标准定义（SD）导航地图可以提供轻量级的道路结构拓扑表示，具有易获取和低维护成本的特点。一种直观的想法是将车载摄像头的近距离视觉信息与来自SD地图的超视距（BLOS）环境先验相结合，以实现扩展的感知能力。本文提出了BLOS-BEV，一种新颖的BEV分割模型，它结合了SD地图，可以实现高达200米的准确超视距感知。我们的方法适用于常见的BEV架构，并通过整合从SD地图中提取的信息，实现了优秀的结果。我们探索了各种特征融合方案，以有效地整合视觉BEV表示和SD地图的语义特征，旨在最优地利用两个来源的互补信息。大量实验证明，我们的方法在nuScenes和Argoverse基准测试中实现了最先进的BEV分割性能。通过多模态输入，BEV分割在50米以下的近距离范围内得到了显著提高，同时在长距离场景中表现出卓越的性能，在50-200米的距离范围内超过其他方法超过20％的mIoU。

本论文旨在解决自动驾驶任务中鸟瞰图（BEV）表示的精度、效率和范围之间的平衡问题，并且扩展其感知范围，以提供更全面的信息和反应时间。

论文提出了一种新的BEV分割模型BLOS-BEV，它结合了标准定义（SD）导航地图和车载摄像头的信息，实现了高达200米的准确的超视距感知。

论文探索了各种特征融合方案，以有效地整合来自SD地图的语义特征和来自车载摄像头的视觉BEV表示，以最优地利用两者之间的互补信息。实验结果表明，该方法在nuScenes和Argoverse基准测试中均达到了最先进的性能。论文还开源了代码。

最近的相关研究包括：《End-to-End Learning of Driving Models from Large-Scale Video Datasets》、《SqueezeSegV3: Spatially-Adaptive Convolution for Efficient Point-Cloud Segmentation》等。