FisheyeDetNet: Object Detection on Fisheye Surround View Camera Systems for Automated Driving

目标检测是自动驾驶中一个成熟的问题，行人检测是最早部署的算法之一。它在文献中得到了全面的研究。然而，对于用于环视近场感测的鱼眼相机，目标检测相对较少探索。由于强烈的径向畸变，特别是在周边区域，标准的边界框表示在鱼眼相机中失败了。为了缓解这个问题，我们探索扩展标准目标检测输出表示的边界框。我们设计了旋转的边界框、椭圆、通用多边形作为极坐标弧/角度表示，并定义了一个实例分割mIOU指标来分析这些表示。所提出的模型FisheyeDetNet使用多边形表现优于其他模型，在Valeo鱼眼环视数据集上实现了49.5%的mAP得分，适用于自动驾驶应用。该数据集包括来自欧洲、北美和亚洲的4个环视相机拍摄的60K张图像。据我们所知，这是关于自动驾驶场景下鱼眼相机目标检测的第一次详细研究。

论文旨在解决在自动驾驶场景中，使用鱼眼相机进行物体检测的问题。由于鱼眼相机存在重度径向畸变，传统的边界框表示法不再适用，因此需要探索新的物体检测输出表示形式。

论文提出了一种通过旋转边界框、椭圆、多边形极坐标表示法等方式来解决鱼眼相机物体检测问题的方法，并设计了实例分割mIOU指标来评估这些表示法的性能。

论文使用了Valeo鱼眼全景数据集进行实验，提出的FisheyeDetNet模型在多种表示法中表现最佳，达到了49.5%的mAP得分。此外，论文还探讨了其他物体检测相关问题，如实例分割和数据增强等。

在鱼眼相机物体检测领域，此前较少有相关研究。但是，近年来也有一些相关工作，如基于鱼眼相机的车道线检测、基于极线的鱼眼图像校正等。