CLIP-BEVFormer: Enhancing Multi-View Image-Based BEV Detector with Ground Truth Flow

自动驾驶是计算机视觉中一个关键领域，正在塑造交通运输的未来。在这个范式中，系统的骨干在解释复杂环境方面起着至关重要的作用。然而，一个显著的挑战是在鸟瞰图元素方面失去了明确的监督。为了解决这个限制，我们引入了CLIP-BEVFormer，这是一种新颖的方法，利用对比学习技术的力量，增强了基于多视图图像的BEV骨干与地面真实信息流的联系。我们在具有挑战性的nuScenes数据集上进行了大量实验，并展示了显著且一致的改进，超越了现有技术水平。具体而言，CLIP-BEVFormer在3D物体检测任务中相对于之前最好的BEV模型，在NDS和mAP方面分别实现了8.5\%和9.2\%的显著提升。

CLIP-BEVFormer试图解决Bird's Eye View元素缺乏明确监督的问题，以提高多视图图像派生的BEV骨干在解释复杂环境方面的能力。

CLIP-BEVFormer利用对比学习技术的能力，将地面真实信息流集成到多视图图像派生的BEV骨干中，以提高其性能。

通过在nuScenes数据集上的实验，CLIP-BEVFormer在3D目标检测任务中相比之前最好的BEV模型取得了显著且一致的改进，NDS和mAP分别提高了8.5%和9.2%。

在此领域的相关研究中，最近的一些论文包括：《3D Object Detection with Pointformer》、《PointPainting: Sequential Fusion for 3D Object Detection》、《Exploring Spatiotemporal Representation via 3D-Equivariant Self-Attention and Differentiable Feature Aggregation》等。