A Survey of Deep Learning Based Radar and Vision Fusion for 3D Object Detection in Autonomous Driving

随着自动驾驶技术的快速发展，车辆在运行过程中需要更强的安全性和效率，自动环境感知也变得越来越重要。在现代车辆配置中，相机和毫米波雷达（雷达）是最广泛使用的传感器，它们具有互补的特性，本质上使它们有利于融合，并促进实现强大的性能和成本效益。本文重点介绍了基于深度学习方法的雷达-视觉（RV）融合在自动驾驶中的三维物体检测方面的全面调查。我们提供了每个RV融合类别的全面概述，特别是那些采用感兴趣区域（ROI）融合和端到端融合策略的方法。作为目前最有前途的融合策略，我们更深入地分类了端到端融合方法，包括基于三维边界框预测和基于BEV的方法。此外，与最新的进展相一致，我们阐述了4D雷达及其在自动驾驶车辆（AVs）中的前沿应用的最新信息。最后，我们提出了RV融合的可能未来趋势，并总结了本文。

本文旨在通过深度学习方法实现雷达-视觉(RV)融合，以提高自动驾驶汽车中的环境感知能力和安全性。

本文提出了一种基于端到端融合的方法，包括基于3D边界框预测和基于BEV的方法，来实现3D物体检测。

本文对每种RV融合策略进行了全面的概述，包括ROI融合和端到端融合策略，并详细介绍了最有前途的端到端融合方法。此外，本文还介绍了最新的4D雷达技术及其在自动驾驶汽车中的应用，并总结了可能的未来趋势。

最近的相关研究包括：《基于深度学习的自动驾驶车辆3D物体检测综述》、《自动驾驶汽车中基于深度学习的雷达-视觉融合技术综述》等。