Unleashing HyDRa: Hybrid Fusion, Depth Consistency and Radar for Unified 3D Perception

近年来，自主驾驶的低成本、以视觉为中心的三维感知系统取得了显著进展，缩小了与昂贵的基于激光雷达的方法之间的差距。成为完全可靠的替代方案的主要挑战在于具有强大的深度预测能力，因为基于相机的系统在长距离检测和恶劣的光照和天气条件下表现不佳。在这项工作中，我们介绍了HyDRa，一种新颖的相机-雷达融合架构，用于多样化的三维感知任务。基于密集的鸟瞰图（BEV）架构原则，HyDRa引入了一种混合融合方法，结合了两个不同的表示空间中互补的相机和雷达特征的优点。我们的高度关联变换器模块利用雷达特征已经在透视视图中产生更强大和准确的深度预测。在BEV中，我们通过雷达加权深度一致性来优化初始稀疏表示。HyDRa在公共nuScenes数据集上实现了64.2 NDS（+1.8）和58.4 AMOTA（+1.5）的相机-雷达融合的最新技术水平。此外，我们的新的语义丰富和空间精确的BEV特征可以直接转换为强大的占用表示，在Occ3D基准测试中击败了所有以前的基于相机的方法，达到了惊人的3.7 mIoU。

介绍一种新的相机-雷达融合架构HyDRa，旨在解决相机在长距离检测和恶劣光照和天气条件下的深度预测能力不足的问题。

HyDRa采用了混合融合方法，结合了相机和雷达在两个不同的表示空间中的优势，利用高度关联变换模块和雷达加权深度一致性对初始稀疏表示进行了优化，实现了更准确和鲁棒的深度预测。

HyDRa在公共数据集nuScenes上实现了64.2 NDS (+1.8)和58.4 AMOTA (+1.5)的新的相机-雷达融合最优结果。此外，论文提出了一种新的语义丰富和空间精确的BEV特征，可以直接转换为强大的占用表示，击败了先前所有基于相机的方法，在Occ3D基准测试上获得了惊人的3.7 mIoU。

近期的相关研究包括： 1. "End-to-end learning for lidar-based 3D object detection with convolutional neural networks" by Bo Li et al. 2. "PointRCNN: 3D Object Proposal Generation and Detection from Point Cloud" by Shi et al. 3. "VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection" by Zhou et al.