Roadside Monocular 3D Detection via 2D Detection Prompting

这篇文章探讨了道路单目三维检测的问题，需要在二维RGB框架中检测感兴趣的对象类别并预测它们的三维信息，例如鸟瞰图中的位置。它在交通控制、车辆间通信和车辆基础设施协同感知等方面具有广泛的应用。为了解决这个问题，文章提出了一种新颖且简单的方法，通过使用二维检测来提示三维检测器。我们的方法基于一个关键洞察，即与三维检测器相比，二维检测器更容易训练，并且在二维图像平面上的检测性能显著更好。因此，可以利用经过良好训练的二维检测器的二维检测结果作为提示，训练三维检测器，使其向三维检测方向膨胀。为了构建更好的提示，我们探索了三种技术：（a）连接二维和三维检测器的特征，（b）注意地融合二维和三维检测器的特征，以及（c）编码预测的二维框的x、y、宽度、高度、标签，并将其与三维检测器的特征进行注意力融合。令人惊讶的是，第三种方法表现最好。此外，我们提出了一个偏航调整策略和一个基于功能合并类别的类别分组策略；这些技术进一步提高了三维检测性能。全面的消融研究和广泛的实验表明，我们的方法在两个大规模路边三维检测基准测试中表现优异，达到了最先进水平。

解决问题：论文旨在解决路边单目3D检测问题，即在2D RGB图像中检测感兴趣类别的物体，并预测它们在鸟瞰图中的位置。这个问题在交通控制、车辆间通信和车辆基础设施协同感知等方面有广泛应用。

关键思路：论文提出了一种新颖且简单的方法，通过使用2D检测作为3D检测的提示来解决问题。该方法的关键在于利用2D检测器的训练简单且在2D图像平面上的检测性能显著优于3D检测器。为了构建更好的提示，论文探索了三种技术：（a）串联2D和3D检测器的特征，（b）注意融合2D和3D检测器的特征，以及（c）编码预测的2D框x、y、宽度、高度、标签并将其与3D检测器的特征注意融合。其中第三种方法表现最佳。

其他亮点：论文还提出了一个偏航调整策略和一个基于功能合并类别的类别分组策略，进一步提高了3D检测性能。论文进行了全面的消融研究和广泛的实验，证明了该方法在两个大规模路边3D检测基准测试中表现优异，达到了最先进水平。

相关研究：最近在这个领域中，还有一些相关的研究，包括：《Monocular 3D Object Detection with Feature Enhancement》、《Pseudo-LiDAR from Visual Depth Estimation: Bridging the Gap in 3D Object Detection for Autonomous Driving》等。