Fully Sparse 3D Object Detection (NeurIPS 2022)
Authors：Lue Fan， 王峰, 王乃岩，Zhaoxiang Zhang
论文：https://arxiv.org/abs/2207.10035
代码已经开源在：
https://github.com/tusen-ai/SST
长话短说，我们提出了一种基于激光雷达的全稀疏3D物体检测器，在Waymo数据集和Argoverse 2数据集上都达到了不错的精度和速度。下面是一个简要的介绍。
一、导言
目前以SECOND，PointPillars以及CenterPoint为代表的主流一阶段点云物体检测器都或多或少依赖致密特征图（dense feature map）。这些方法基本都会把稀疏体素特征“拍成“dense BEV feature map。这样做可以沿用2D检测器的很多套路，取得了非常不错的性能。但是由于dense feature map的计算量和检测范围的平方成正比，使得这些检测器很难scale up到大范围long-range检测场景中。比如新出的Argoverse 2数据集具有[-200, 200] x [-200, 200] 的理论检测范围，比常用的不超过[-75. 75] x [-75, 75] 的范围大了许多。于是便引出了本文想解决的一个痛点问题：
如何去掉这些dense feature map，把检测器做成fully sparse的，以此高效地实现 long-range LiDAR detection？
这里补一句：全稀疏其实并不是一个新概念，在点云物体检测发展的早期，以PointRCNN为代表的众多纯point-based 方法天生就是全稀疏的。但由于Neighborhood query和FPS的存在，纯point-based方法在大规模点云数据上的效率不是很理想。这就导致纯point-based方法在点云规模较大的benchmark上性能表现不佳（没办法用较大的模型和分辨率。）
而去掉dense feature map的一个直接问题就是会导致物体中心特征的缺失（center feature missing）。这是由于点云常常分布在物体的侧表面，对于大物体尤其如此。在dense detector中，多层的卷积会把物体边缘的有效特征扩散到物体中心，因此这些检测器不存在直接的中心特征缺失问题，可以使用已被证明非常有效的center assignment。下图展示了特征扩散的过程：
为了解决在全稀疏结构下中心特征缺失的问题，我们有一个基本想法：
既然中心特征缺失了，那么就不依靠中心特征做预测，而是依靠物体整体的有效特征做预测。
内容中包含的图片若涉及版权问题，请及时与我们联系删除
评论
沙发等你来抢