Multiple Object Detection and Tracking in Panoramic Videos for Cycling Safety Analysis

全景骑行视频可以记录骑行者周围360度的视野。因此，使用计算机视觉模型对它们进行自动道路用户分析以提供骑行安全研究的数据是必要的。然而，全景数据的特征，如严重的扭曲、大量的小物体和边界连续性，给现有的计算机视觉模型带来了巨大的挑战，包括性能不佳和不再适用的评估方法。此外，由于缺乏带注释的数据，重新训练模型并不容易。 针对这些问题，该项目提出并实施了一个三步方法：(1)通过将原始图像投影到4个透视子图像中，提高预训练目标检测模型在全景数据上的预测性能；(2)将边界连续性和类别信息引入DeepSORT，一种常用的多目标跟踪模型，并将改进的检测模型设置为其检测器；(3)利用跟踪结果，开发一个应用程序来检测周围车辆的超车行为。 在该项目建立的全景骑行数据集上进行评估，所提出的方法可提高YOLO v5m6和Faster RCNN-FPN的平均精度，在任何输入分辨率设置下都有所提高。此外，它将DeepSORT的MOTA和IDF1分别提高了7.6%和9.7%。在检测测试视频中的超车时，它实现了0.88的F-score。 该代码可在GitHub上找到，网址为github.com/cuppp1998/360_object_tracking，以确保结果的可重复性和进一步的改进。

在全景骑行视频中进行自动道路用户分析是一个具有挑战性的问题，因为全景数据具有严重的扭曲、大量的小物体和边界连续性等特点。本文试图解决这些问题。

本文提出了一个三步方法来提高预训练目标检测模型在全景数据上的预测性能，并将其用作DeepSORT的检测器，同时引入了边界连续性和类别信息的支持。该方法在全景骑行数据集上得到了验证。

本文的方法提高了YOLO v5m6和Faster RCNN-FPN的平均精度，并将DeepSORT的MOTA和IDF1提高了7.6％和9.7％。在检测测试视频中的超车行为时，达到了0.88的F-score。代码在GitHub上开源。

最近的相关研究包括：'Panoramic Annular Lens-based Pedestrian Detection and Tracking for Intelligent Transportation Systems'和'360-Degree Video Object Detection: A Comprehensive Survey and Future Directions'等论文。