FSD-BEV: Foreground Self-Distillation for Multi-view 3D Object Detection

尽管基于鸟瞰图(BEV)范式的多视角3D物体检测已经成为一种经济实用的自动驾驶感知解决方案，但与基于激光雷达的方法相比仍存在性能差距。近年来，已经提出了几种跨模态蒸馏方法，旨在将教师模型中的有益信息传递给学生模型以提高性能。然而，由于不同数据模态和网络结构的特征分布存在差异，这些方法面临着挑战，使得知识转移异常困难。本文提出了一种前景自蒸馏(FSD)方案，有效避免了分布差异问题，保持了显著的蒸馏效果，无需预训练的教师模型或繁琐的蒸馏策略。此外，我们设计了两种点云强化策略，通过帧组合和伪点分配来补偿点云的稀疏性。最后，我们开发了一个多尺度前景增强(MSFE)模块，通过预测的椭圆高斯热图提取和融合多尺度前景特征，进一步提高了模型的性能。我们将所有上述创新集成到一个名为FSD-BEV的统一框架中。在nuScenes数据集上的大量实验证明，FSD-BEV实现了最先进的性能，凸显了其有效性。代码和模型可在https://github.com/CocoBoom/fsd-bev上获得。

本论文旨在提高基于Bird's-Eye-View（BEV）范式的多视角3D物体检测的性能，以缩小与基于LiDAR的方法之间的性能差距。

论文提出了一种前景自蒸馏（FSD）方案，通过预测的椭圆高斯热图提取和融合多尺度前景特征，有效避免了不同数据模态和网络结构之间的分布差异问题，从而实现了知识蒸馏的显著效果。

论文还设计了两种点云强化策略来弥补点云稀疏性，并将所有创新融合到一个名为FSD-BEV的统一框架中。在nuScenes数据集上进行的广泛实验表明，FSD-BEV实现了最先进的性能。

最近的相关研究包括：'PointRCNN: 3D Object Proposal Generation and Detection from Point Cloud'，'PV-RCNN: Point-Voxel Feature Set Abstraction for 3D Object Detection'，'Fast Point R-CNN'等。