动机

作为一种能够直接测量深度的传感器，其相较于Lidar存在较大的误差，因此利用雷达本身精度难以精确地将雷达结果与单目方法的3D估计相关联。本文提出了一种融合网络RADIANT来解决雷达-摄像机关联的挑战。通过预测雷达点到真实目标中心点的3D偏移，随后利用修正后的雷达点修正图像预测结果，使得网络在特征层和检测层完成融合。

贡献

  1. 通过增强毫米波点云获得3D目标的中心位置
  2. 使用增强后的毫米波点云完成相机-雷达的检测结果关联
  3. 在多个单目SOTA模型中验证了结构有效性并取得SOTA

背景&问题定义

正雷达样本点

对于目标检测的训练，关键就是：候选点的选择、定义正负样本，FCOS3D将每个像素点作为目标候选点，而正样本点定义为GT目标中心周围的区域内。同样，对于本文，我们将每个雷达反射点作为目标的候选点，将成功与目标相关联的雷达像素点作为正样本点。但是，由于毫米波反射点的模糊性（存在多径干扰）和不准确性（检测的分辨率不高）等问题，导致反射点许多无法反映真实的目标位置框内，同时目前的主流多模态数据集（radar+camera）没有提供point-wise（点云级别）的标记，以上两种原因导致了：现有的毫米波反射点无论是精度上还是标注上，都需要做一些工作。

由此，作者如此解决：

  1. 3D框内部的点云当然归属于对应目标，但是对于外部点云，作者设置距离阈值将一定范围内的点云考虑在内
  2. 同时为了防止误召回，上一步召回的点云还需要再径向速度上与分配的GT目标相差在一定范围内

Radar Depth Offset

z为反射点相关联的目标深度，z_r为反射点的原始测量深度

细化动机：

  1. 单目3D检测性能一直受到深度估计不精确问题的裹挟
  2. 毫米波雷达能提供相较相机更精确的深度，但是其稀疏性、穿透性导致其很难反映出目标真实中心，甚至出现幽灵点，反射点到物体中心的偏移是未知的，但是又是关键的，我们通常需要通过物体的中心特征回归目标的各类属性
  3. 预测的偏移不仅要包括深度偏移，还有image-plane的投影像素偏移，补偿雷达反射点在横向等方向上误差
  4. 因为点云和目标匹配需要类别信息，毫米波用于分类的信息较少（无法通过形状判断）

 

【自动驾驶之心】全栈技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多传感器融合、SLAM、光流估计、深度估计、轨迹预测、高精地图、NeRF、规划控制、模型部署落地、自动驾驶仿真测试、硬件配置、AI求职交流等方向；

添加汽车人助理微信邀请入群

备注：学校/公司+方向+昵称

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除