DuoSpaceNet: Leveraging Both Bird's-Eye-View and Perspective View Representations for 3D Object Detection

最近，多视角仅摄像机的三维物体检测要么依赖于准确重建鸟瞰图的三维特征，要么依赖于传统的二维透视图像特征。虽然两种方法各有优缺点，但很少有人找到一种方法将它们拼接在一起以从中受益。为此，我们探索了一个双重空间（即鸟瞰图和透视图）的三维感知框架，结合一些有用的双重空间融合策略，允许有效地聚合两种特征表示。据我们所知，我们提出的方法DuoSpaceNet是第一个利用两个不同特征空间并在nuScenes数据集上实现最先进的三维物体检测和鸟瞰图分割结果的方法。

本文旨在探索一种利用鸟瞰图和透视图两种不同特征空间的双重空间三维感知框架，以及有效聚合这两种特征表示的方法，以提高三维物体检测和鸟瞰图分割的性能。

本文提出了一种双重空间感知框架DuoSpaceNet，可以有效地聚合鸟瞰图和透视图两种特征表示，实现了在nuScenes数据集上的三维物体检测和鸟瞰图分割的最新成果。

本文的亮点包括：提出了一种新的双重空间感知框架，可以充分利用鸟瞰图和透视图两种不同的特征空间；在nuScenes数据集上实现了最新的三维物体检测和鸟瞰图分割成果；实验结果表明，DuoSpaceNet在检测准确度和速度方面都优于其他最新方法。

最近的相关研究包括：MV3D、AVOD、ContFuse、PV-RCNN等。