SEED: A Simple and Effective 3D DETR in Point Clouds

最近，由于其优雅的框架，检测变压器(DETRs)在2D检测中逐渐占据主导地位。然而，基于DETR的3D点云检测器仍然难以达到令人满意的性能。我们认为主要的挑战有两个方面：1）由于点云的高稀疏性和不均匀分布，如何获取适当的对象查询是具有挑战性的；2）如何通过利用点云的丰富几何结构实现有效的查询交互尚未得到充分探索。为此，我们提出了一种简单而有效的3D DETR方法（SEED）来从点云中检测3D对象，其中包括双重查询选择(DQS)模块和可变形网格注意(DGA)模块。更具体地说，为了获得适当的查询，DQS首先通过预测的置信度分数确保高召回率以保留大量查询，然后根据估计的质量分数进一步挑选高质量的查询。DGA将每个参考框均匀地分成网格作为参考点，然后利用预测的偏移量实现灵活的感受野，使网络集中于相关区域并捕获更多的信息特征。对DQS和DGA的广泛消融研究证明了其有效性。此外，我们的SEED在大规模的Waymo和nuScenes数据集上实现了最先进的检测性能，说明了我们提出的方法的优越性。代码可在https://github.com/happinesslz/SEED上获得。

解决问题：本论文旨在提出一种用于点云的三维DETR模型，以解决点云中的物体检测问题。作者认为主要挑战在于如何获取适当的物体查询和如何利用点云的几何结构实现有效的查询交互。

关键思路：本论文提出了一种名为SEED的简单而有效的3D DETR方法，该方法包括双重查询选择（DQS）模块和可变形网格注意（DGA）模块。DQS模块通过预测的置信度分数确保高召回率以保留大量查询，并根据估计的质量分数进一步筛选高质量的查询。DGA模块将每个参考框均匀分成网格作为参考点，然后利用预测的偏移量实现灵活的接受域，使网络集中于相关区域并捕获更多信息特征。

其他亮点：本论文在Waymo和nuScenes数据集上进行了广泛的消融研究，证明了DQS和DGA的有效性。此外，SEED在两个数据集上均取得了最先进的检测性能。作者提供了开源代码。

相关研究：最近的相关研究包括PointRCNN、STD等。