Point-DETR3D: Leveraging Imagery Data with Spatial Point Prior for Weakly Semi-supervised 3D Object Detection

本文提出了一种点注释的形式，以提供实际应用中的显著前景，不仅更易于获取和成本更低，而且为物体定位提供了强大的空间信息。我们经验性地发现，仅仅将Point-DETR适应于其3D形式是非常困难的，遇到了两个主要瓶颈：1）它无法将强3D先验编码到模型中，2）由于LiDAR点的极度稀疏，它在远程区域生成低质量的伪标签。为了克服这些挑战，我们引入了Point-DETR3D，这是一个用于弱半监督3D检测的教师-学生框架，旨在在受限的实例级注释预算内充分利用逐点监督。与仅通过点编码器编码3D位置信息的Point-DETR不同，我们提出了一种显式的位置查询初始化策略，以增强位置先验。考虑到教师模型在远程区域产生的伪标签质量较低，我们通过一种新颖的跨模态可变形RoI融合（D-RoI）来融合密集的图像数据，以增强检测器的感知能力。此外，我们提出了一种创新的点引导自监督学习技术，以充分利用点先验，即使在学生模型中也是如此。在代表性的nuScenes数据集上进行的大量实验表明，与以前的工作相比，我们的Point-DETR3D取得了显着的改进。值得注意的是，仅使用5％的标记数据，Point-DETR3D就实现了其完全监督对应物的90％以上的性能。

本文旨在解决3D检测中标注数据量大、标注成本高的问题，并提出了一种基于点注释的弱监督学习方法。

本文提出了Point-DETR3D，一种基于教师-学生框架的弱监督学习方法，通过显式位置查询初始化策略增强位置先验，通过Cross-Modal Deformable RoI Fusion（D-RoI）融合稠密的图像数据，通过点引导的自监督学习技术充分利用点先验。

实验表明，Point-DETR3D相比之前的方法在代表性的nuScenes数据集上取得了显著的改进。仅使用5%的标注数据，Point-DETR3D就达到了其完全监督对应物的90%以上的性能。本文的创新点在于提出了一种弱监督学习方法，同时结合了位置查询初始化、D-RoI融合和点引导的自监督学习技术。

在这个领域中，最近的相关研究包括：Point-DETR、PV-RCNN、STD等。