Multi-Modal UAV Detection, Classification and Tracking Algorithm -- Technical Report for CVPR 2024 UG2 Challenge

本技术报告展示了CVPR 2024 UAV Tracking and Pose-Estimation Challenge中UG2+任务的第一名模型。该挑战面临着在极端天气条件下使用多模态传感器信息（包括立体视觉、各种激光雷达、雷达和音频阵列）进行无人机检测、UAV类型分类和2D/3D轨迹估计的困难。利用这些信息，我们提出了一种多模态UAV检测、分类和3D跟踪方法，以实现准确的UAV分类和跟踪。我们提出了一种新颖的分类流程，其中包括序列融合、感兴趣区域（ROI）裁剪和关键帧选择。我们的系统集成了先进的分类技术和复杂的后处理步骤，以提高准确性和鲁棒性。设计的姿态估计流程包括三个模块：动态点分析、多目标跟踪器和轨迹完成技术。广泛的实验验证了我们方法的有效性和精度。此外，我们还提出了一种新颖的数据集预处理方法，并对我们的设计进行了全面的削减研究。最终，我们在MMUAD数据集的分类和跟踪中取得了最佳表现。我们的方法的代码和配置可在https://github.com/dtc111111/Multi-Modal-UAV获得。

多模态无人机检测、分类和3D跟踪在极端天气条件下的挑战。

该论文提出了一种多模态无人机检测、分类和3D跟踪的方法，利用多种传感器信息，包括立体视觉、各种激光雷达、雷达和音频阵列，实现准确的无人机分类和跟踪。该方法结合了先进的分类技术和复杂的后处理步骤，提高了准确性和鲁棒性。

论文提出了一种新的分类流水线，包括序列融合、感兴趣区域（ROI）裁剪和关键帧选择。姿态估计流水线包括三个模块：动态点分析、多目标跟踪器和轨迹完成技术。论文还提出了一种新的数据集预处理方法，并进行了全面的消融研究。该方法在MMUAD数据集的分类和跟踪方面取得了最佳性能。

最近的相关研究包括：1. 'Deep Learning for Object Detection: A Comprehensive Review'；2. 'Object Detection in 20 Years: A Survey'；3. 'A Survey of Deep Learning-based Object Detection'。