LiCROcc: Teach Radar for Accurate Semantic Occupancy Prediction using LiDAR and Camera

本文探讨了3D雷达在语义场景补全中的潜力，旨在通过跨模态精炼技术，提高系统对天气和光照变化的鲁棒性，增强SSC性能。雷达作为3D目标检测的重要手段，逐渐取代激光雷达成为自动驾驶应用中的强大感知替代方案。在模型架构方面，本文提出了一种基于BEV的三阶段紧密融合方法，以实现点云和图像的融合框架，并设计了三个跨模态蒸馏模块：CMRD、BRD和PDD。通过将激光雷达和相机融合的特征的丰富语义和结构信息蒸馏到雷达和相机的特征中，本文的方法提高了雷达单独和雷达相机联合的性能。最终，本文的LC-Fusion（教师模型）、R-LiCROcc和RC-LiCROcc在nuScenes-Occupancy数据集上取得了最佳表现，mIOU分别超过基线22.9%、44.1%和15.5%。项目页面可在https://hr-zju.github.io/LiCROcc/上查看。

论文旨在探讨利用3D雷达技术在自动驾驶中的应用，解决在复杂天气和光照变化下的场景语义完成问题。

论文提出了一种基于三阶段紧密融合的方法，通过融合雷达和相机的特征信息，设计了三个跨模态蒸馏模块，提高了模型的鲁棒性和性能表现。

论文使用了nuScenes-Occupancy数据集进行实验，开源了代码，提出的方法在雷达和相机的场景下均有较好表现。值得进一步研究。

在这个领域中，还有一些相关研究，例如“Multi-Modal Semantic Segmentation for Autonomous Driving: A Survey”和“End-to-End Learning for Lidar-based 3D Object Detection with Cascaded Depth-wise Convolutional Neural Networks”。