DaF-BEVSeg: Distortion-aware Fisheye Camera based Bird's Eye View Segmentation with Occlusion Reasoning

语义分割是进行场景理解的有效方法。最近，三维鸟瞰图（BEV）空间中的分割因其直接用于驾驶策略而变得流行。然而，在商用车辆中常用的全景鱼眼相机的BEV分割方面，研究有限。由于该任务没有现实世界的公共数据集，并且现有的合成数据集由于遮挡不处理非模态区域，因此我们使用Cognata模拟器创建了一个合成数据集，其中包括多种道路类型、天气和照明条件。我们将BEV分割推广到适用于任何相机模型，这对于混合不同的相机非常有用。我们通过对鱼眼图像应用圆柱矫正并使用标准的基于LSS的BEV分割模型来实现基线。我们证明了我们可以在不进行失真矫正的情况下取得更好的性能，这样做会增加预处理的运行时间、减少视野范围和产生重采样伪影。此外，我们引入了一种扭曲感知的可学习BEV池化策略，这对于鱼眼相机更为有效。我们通过一个遮挡推理模块扩展了模型，这对于在BEV空间中进行估计至关重要。 DaF-BEVSeg的定性性能在https://streamable.com/ge4v51的视频中展示。

本论文旨在解决缺乏公共数据集和现有合成数据集无法处理遮挡区域的问题，以及针对商业车辆常用的全景鱼眼相机进行BEV分割的问题。

论文提出了一种基于Cognata模拟器创建合成数据集的方法，利用学习可变形池化策略和扭曲感知模块，实现了针对全景鱼眼相机的BEV分割。

论文使用Cognata模拟器生成了包括不同道路类型、天气和光照条件的合成数据集，并将BEV分割推广到适用于任何相机模型，且不需要图像去畸变处理。论文还引入了扭曲感知可学习BEV池化策略和遮挡推理模块，提高了BEV分割的性能。实验结果表明，该方法在全景鱼眼相机下的BEV分割效果优于传统方法。

在相关研究方面，最近的一些论文包括：《Amodal Detection of 3D Objects: Inferring 3D Bounding Boxes From 2D Ones in RGB-Depth Images》、《BirdNet: A 3D Object Detection Framework From LiDAR Information》等。