CR3DT: Camera-RADAR Fusion for 3D Detection and Tracking

准确检测和跟踪周围物体对于实现自动驾驶至关重要。虽然激光雷达（LiDAR）传感器已经成为高性能的基准，但仅使用相机的解决方案具有成本效益。值得注意的是，尽管广泛使用雷达传感器用于汽车系统，但由于数据稀疏性和测量噪声，雷达在3D检测和跟踪方面的潜力已经被大大忽视。作为最近的发展，相机和雷达的组合正在成为一种有前途的解决方案。本文提出了相机-雷达三维检测和跟踪（CR3DT），这是一种用于三维物体检测和多目标跟踪（MOT）的相机-雷达融合模型。在基于最先进的仅相机BEVDet架构的基础上，CR3DT通过整合雷达传感器的空间和速度信息，实现了检测和跟踪能力的显著提高。实验结果表明，当利用两种模态时，CR3DT在nuScenes数据集上的检测性能绝对提高了5.3％，平均多目标跟踪准确度（AMOTA）提高了14.9％。CR3DT利用汽车应用中雷达的普遍存在，弥合了自动驾驶中高性能和成本效益感知系统之间的差距。

本论文旨在解决自动驾驶中物体检测和跟踪的问题，通过融合相机和雷达两种传感器的数据，提高检测和跟踪的准确性和性能。

论文提出了一种Camera-RADAR 3D Detection and Tracking (CR3DT)的模型，将雷达传感器的空间和速度信息与相机数据相结合，进一步提高自动驾驶中物体检测和跟踪的准确性和性能。

论文在nuScenes数据集上进行了实验，结果显示CR3DT相比于只使用相机的方法，在检测性能上提高了5.3%的mAP，在多目标跟踪准确性上提高了14.9%的AMOTA。此外，论文还开源了代码，为后续研究提供了便利。

在近期相关研究中，也有一些关于融合不同传感器数据进行物体检测和跟踪的研究，如FusionRCNN和F-ConvNet等。