DroneMOT: Drone-based Multi-Object Tracking Considering Detection Difficulties and Simultaneous Moving of Drones and Objects

本文讨论了多目标跟踪（MOT）在静态平台（如监控摄像头）上的显著进展，各种范例提供了吸引人的表现。然而，当涉及到像无人机这样的动态平台时，传统的MOT方法的有效性显著降低。这种降低归因于MOT-on-drone场景中的独特挑战：（1）图像平面上的物体通常很小，模糊且经常被遮挡，使它们难以检测和识别；（2）无人机移动并从不同角度看待物体，导致对象的预测位置和特征嵌入的不可靠性。本文提出了DroneMOT，首先提出了一种双域集成注意（DIA）模块，考虑到无人机的快速移动，增强了基于无人机的小尺寸、模糊和遮挡对象的检测和特征嵌入。然后，引入了一种创新的运动驱动关联（MDA）方案，考虑到无人机和物体的并发运动。在MDA中，提出了一种自适应特征同步（AFS）技术，用于更新从不同角度看到的物体特征。此外，采用了一种双运动预测（DMP）方法来预测物体的位置。最后，将精细的特征嵌入和预测的位置集成起来，以增强对象关联。对VisDrone2019-MOT和UAVDT数据集进行全面评估表明，DroneMOT在无人机MOT领域的表现优于现有技术水平。

本文旨在解决无人机上的多目标跟踪问题，由于无人机的高速运动和视角变化，传统的多目标跟踪方法在此场景下表现较差。

本文提出了一种双域集成注意力模块（DIA）来增强无人机上的目标检测和特征嵌入，并引入了一种创新的运动驱动关联（MDA）方案来考虑无人机和目标的同时运动。

本文在VisDrone2019-MOT和UAVDT数据集上进行了全面的评估，结果表明DroneMOT在无人机上的多目标跟踪领域中具有显着的性能提升。值得关注的是，本文提出的DIA和MDA技术在其它领域也具有广泛的应用价值。

与本文相关的研究包括：1. DeepSORT: Real-time single object tracking, CVPR 2017；2. MOTDT: Multi-object tracking with detection template, AAAI 2020；3. SiamRPN++: Evolution of siamese visual tracking with very deep networks, CVPR 2019。