DPFT: Dual Perspective Fusion Transformer for Camera-Radar-based Object Detection

自动驾驶车辆的感知必须高效、稳健且具有成本效益。然而，相机在恶劣天气条件下不够稳健，激光雷达传感器价格昂贵，而基于雷达的感知性能仍然不如其他方法。已经提出了相机-雷达融合方法来解决这个问题，但这些方法受到雷达点云的典型稀疏性的限制，并且通常是为没有仰角信息的雷达设计的。我们提出了一种新颖的相机-雷达融合方法，称为双透视融合变压器（DPFT），旨在克服这些限制。我们的方法利用较低级别的雷达数据（雷达立方体）而不是处理后的点云来尽可能地保留信息，并在相机和地面平面上投影，以有效利用具有仰角信息的雷达并简化与相机数据的融合。因此，DPFT在K-Radar数据集上展示了最先进的性能，同时对恶劣天气条件表现出了显着的稳健性，并保持了低推理时间。该代码可作为开源软件在https://github.com/TUMFTM/DPFT上获得。

提出一种新的相机-雷达融合方法，名为Dual Perspective Fusion Transformer (DPFT)，以解决自动驾驶车辆在恶劣天气条件下的感知问题和成本问题。

DPFT利用雷达立方体数据而非点云数据，结合相机和地面平面的投影来实现相机-雷达数据融合，具有良好的鲁棒性和低推理时间。

论文提出的DPFT方法在K-Radar数据集上表现出卓越的性能，具有良好的鲁棒性和低推理时间，并且已经开源。值得进一步研究的是如何将该方法应用于实际的自动驾驶车辆中。

相关研究包括基于相机-雷达融合的方法，如F-ConvNet和FusionNet，以及基于深度学习的目标检测方法，如YOLO和SSD。