Benchmarking and Improving Bird's Eye View Perception Robustness in Autonomous Driving

最近，鸟瞰图（BEV）表示法的最新发展为车内三维感知展示出了惊人的前景。然而，虽然这些方法在标准基准测试中取得了令人印象深刻的成果，但它们在各种条件下的鲁棒性仍未得到充分评估。在本研究中，我们提出了RoboBEV，一个广泛的基准套件，旨在评估BEV算法的韧性。该套件包括多种摄像机故障类型，每种类型分别检查三个严重程度。我们的基准测试还考虑了使用多模型时发生的完全传感器故障的影响。通过RoboBEV，我们评估了33个最先进的基于BEV的感知模型，涵盖检测、地图分割、深度估计和占用预测等任务。我们的分析揭示了模型在分布数据集上的表现与其对分布之外挑战的韧性之间有明显的相关性。我们的实验结果还强调了预训练和无深度BEV转换等策略在增强对分布之外数据的鲁棒性方面的功效。此外，我们观察到，利用广泛的时间信息显著提高了模型的鲁棒性。基于我们的观察，我们设计了一种基于CLIP模型的有效鲁棒性增强策略。本研究的见解为未来无缝结合准确性和现实世界韧性的BEV模型的开发铺平了道路。

本论文旨在解决鸟瞰图（BEV）算法在复杂环境下的鲁棒性问题，设计了一个名为RoboBEV的基准测试套件，以评估现有算法的鲁棒性。

RoboBEV基准测试套件包含多种摄像头失真类型和传感器故障情况，考察了33种BEV算法在不同数据分布下的表现，发现预训练和无深度转换等策略可以提高算法的鲁棒性，同时利用时间信息可以显著提高算法的鲁棒性。

本论文的亮点包括：设计了一个全面的基准测试套件RoboBEV，评估了33种BEV算法在不同数据分布下的鲁棒性；发现预训练和无深度转换等策略可以提高算法的鲁棒性；利用时间信息可以显著提高算法的鲁棒性。

在相关研究方面，最近的研究包括：《SqueezeSegV3: Spatially-Adaptive Convolution for Efficient Point-Cloud Segmentation》、《RangeDet: 3D Object Detection from Radar with Range Attention and Localized Radar Representation》等。