前言

本文主要介绍一种基于毫米波雷达和相机后融合的3D目标检测算法——CenterFusion，原本是公司内部的一个技术方案，截取了其中的核心理论部分，所以看起来肯能有些严肃。

毫米波雷达与视觉的融合

一般来说，毫米波雷达和视觉有三个融合级别，包括数据级、决策级和特征级。数据级融合是对毫米波雷达和摄像机检测到的数据的融合，它的数据损失最小，可靠性最高。决策级融合是对毫米波雷达和摄像机的探测结果的融合。特征级融合需要提取雷达特征信息，然后与图像特征融合。表1提供了三种融合水平的比较。

数据

数据方面， 3D场景下的多传感器目标检测，涉及到空间信息的处理还有不同传感器数据的结合，所以数据的维度更多，结构也相对复杂。方案中以nuScenes数据集为例，对模型进行可行性验证和预训练。整个方案的流程中，针对不同的场景和计算需要，共建立了5个不同的坐标系，不同坐标系间的映射关系由现场标定进行获取，nuSences数据集中提供了完备的标定信息供计算使用。

数据坐标系

方案中共包含5个坐标系，分别是全局坐标系（global）、车身坐标系(ego)、雷达坐标系(radar)、相机坐标系(cam)和像素坐标系(image)。其中，像素坐标系为常见的左上角点二维坐标系，像素坐标系和相机坐标系的转换关系由相机内参确定。其他四个坐标系均为三维坐标系，坐标系间的转换关系由现场标定确认。一共需要三个变换矩阵，分别是：

  • 雷达外参：雷达坐标系到车身坐标系的变换矩阵
  • 相机外参：相机坐标系到车身坐标系的变换矩阵
  • 车身姿态：车身姿态包括当前时刻车辆在全局坐标系中的位置和偏转信息两部分

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除