A Method for Target Detection Based on Mmw Radar and Vision Fusion

本文提出了一种使用雷达-视觉融合路径聚合全卷积单阶段网络（RV-PAFCOS）进行目标检测的方法，该方法扩展自全卷积单阶段网络（FCOS），引入了雷达图像处理分支、雷达-视觉融合和路径聚合模块，以利用多传感器检测来确保城市交通的安全，提高目标检测和跟踪的准确性和鲁棒性。雷达图像处理分支主要集中在基于毫米波（mmw）雷达和相机的时空校准进行图像建模，将雷达点云转换成雷达图像。融合模块基于空间注意力拼接准则提取雷达和光学图像的特征。路径聚合模块增强了特征层的重复使用，将浅层特征映射的位置信息与深度语义信息相结合，以获得更好的大型和小型目标检测性能。通过实验分析，本文提出的方法可以有效地融合毫米波雷达和视觉感知，显示出良好的交通目标检测性能。

本论文旨在解决交通监测系统中的目标检测问题，提出了一种基于雷达-视觉融合路径聚合全卷积单阶段网络（RV-PAFCOS）的方法，旨在提高目标检测和跟踪的准确性和鲁棒性。

该方法通过引入雷达图像处理分支、雷达-视觉融合和路径聚合模块，扩展了全卷积单阶段网络（FCOS），并且能够有效地融合毫米波雷达和视觉感知，显示出良好的交通目标检测性能。

本论文的亮点在于提出了一种新的雷达-视觉融合方法，将雷达和视觉图像的特征进行融合，并且使用路径聚合模块增强了特征图的重复使用，从而提高了大型和小型目标的检测性能。实验使用了毫米波雷达和视觉数据集，并且对比了其他目标检测方法的性能，证明了该方法的有效性。

在最近的相关研究中，也有一些研究关注于雷达和视觉融合的目标检测方法，例如：“RadarVisionNet: A Two-Stream Network for Object Detection in Radar-Visual Images”和“Radar and Vision Sensor Fusion for Moving Object Detection: A Comprehensive Study”。