Enhancing 3D Object Detection with 2D Detection-Guided Query Anchors

多摄像头 3D 物体检测在过去几年中取得了显著进展。然而，我们观察到在某些情况下（例如远离区域），流行的 2D 物体检测器比最先进的 3D 检测器更可靠。本文提出了一种新颖的查询生成方法 QAF2D，用于改进基于查询的 3D 物体检测器的性能，该方法从 2D 检测结果中推断出 3D 查询锚点。通过将图像中物体的 2D 边界框提升为一组 3D 锚点，将边界框内的每个采样点与深度、偏航角和尺寸候选项相关联。然后，通过将其在图像中的投影与其对应的 2D 边界框进行比较，验证每个 3D 锚点的有效性，只有有效的锚点才被保留并用于构建查询。还利用与每个查询相关联的 2D 边界框的类信息，将预测框与基准真实框进行匹配，以进行集合损失。通过添加少量提示参数，共享 3D 检测器和 2D 检测器之间的图像特征提取骨干网络。我们将 QAF2D 集成到三个流行的基于查询的 3D 物体检测器中，并在 nuScenes 数据集上进行全面评估。QAF2D 在 nuScenes 验证子集上可以带来的最大改进是 $2.3\%$ NDS 和 $2.7\%$ mAP。代码可在 https://github.com/nullmax-vision/QAF2D 上获得。

论文旨在提高基于查询的三维物体检测的性能，通过从二维检测结果推断三维查询锚点来实现。

QAF2D是一种新的查询生成方法，将二维边界框提升到一组三维锚点，并利用类信息进行匹配和验证。

论文在nuScenes数据集上进行了全面评估，并将QAF2D集成到三个流行的查询式三维物体检测器中。实验结果表明，QAF2D可以显著提高模型的性能。

近年来，基于多摄像头的三维物体检测取得了显著进展，但是在某些情况下，二维物体检测器比最先进的三维检测器更可靠。相关研究包括：《Multi-View 3D Object Detection Network for Autonomous Driving》、《Complex-YOLO: Real-time 3D Object Detection on Point Clouds》等。