Towards Open-set Camera 3D Object Detection

传统的相机3D物体检测器通常是训练来识别预定义的一组已知物体类别。在现实世界的场景中，这些检测器可能会遇到训练类别之外的未知物体，并无法正确识别它们。为了解决这个问题，我们提出了OS-Det3D（开放式相机3D物体检测），这是一个两阶段训练框架，增强了相机3D检测器识别已知和未知物体的能力。该框架包括我们提出的3D物体发现网络（ODN3D），它专门使用几何线索（如3D框的位置和尺度）进行训练，以发现通用的3D物体。ODN3D以类别不可知的方式进行训练，提供的3D物体区域提议本质上带有数据噪声。为了提高识别未知物体的准确性，我们引入了联合物体选择（JOS）模块。JOS从ODN3D的3D物体区域提议中选择未知物体的伪地面实况，通过结合ODN3D物体性和相机特征注意力物体性。在nuScenes和KITTI数据集上的实验表明，我们的框架在使相机3D检测器成功识别未知物体的同时，也提高了它们在已知物体上的性能。

如何提高传统相机3D物体检测器识别未知物体的能力？

提出了OS-Det3D框架，包括一个特定训练的3D对象发现网络（ODN3D）和一个联合目标选择（JOS）模块，以增强相机3D检测器识别已知和未知物体的能力。

使用几何线索训练ODN3D，使其能够发现一般的3D对象，并使用JOS模块从ODN3D的3D对象区域提议中选择未知对象的伪地面实况。在nuScenes和KITTI数据集上的实验表明，该框架提高了已知物体的性能，并成功地识别了未知物体。

最近的相关研究包括："3D物体检测的开放集问题"，"基于几何线索的3D物体检测"等。