CRKD: Enhanced Camera-Radar Object Detection with Cross-modality Knowledge Distillation

在自动驾驶的三维物体检测领域，LiDAR-Camera（LC）融合是表现最佳的传感器配置。然而，LiDAR的成本相对较高，这阻碍了该技术在消费汽车中的采用。相反，摄像头和雷达已经普遍部署在今天的车辆上，但相机-雷达（CR）融合的性能落后于LC融合。在这项工作中，我们提出了摄像头-雷达知识蒸馏（CRKD）来通过一种新颖的跨模态KD框架弥合LC和CR检测器之间的性能差距。我们使用鸟瞰图（BEV）表示作为共享特征空间，以实现有效的知识蒸馏。为了适应独特的跨模态KD路径，我们提出了四种蒸馏损失来帮助学生从教师模型中学习关键特征。我们在nuScenes数据集上进行了广泛的评估，以展示所提出的CRKD框架的有效性。CRKD的项目页面为https://song-jingyu.github.io/CRKD。

本论文旨在提出一种新的跨模态知识蒸馏框架CRKD，以缩小LiDAR-Camera（LC）融合和Camera-Radar（CR）融合之间的性能差距。

使用Bird's-Eye-View（BEV）作为共享特征空间，通过四种蒸馏损失来帮助学生模型从教师模型中学习关键特征。

论文在nuScenes数据集上进行了广泛的评估，并展示了CRKD框架的有效性。该论文提出的CRKD框架为解决3D物体检测中的传感器成本高的问题提供了一种可行的替代方案。

在这个领域，最近的相关研究包括：PointRCNN，STD等。