DifFUSER: Diffusion Model for Robust Multi-Sensor Fusion in 3D Object Detection and BEV Segmentation

最近，扩散模型作为功能强大的深度生成模型在各个领域展现出无与伦比的性能，因此备受关注。然而，它们在多传感器融合方面的潜力仍未得到充分探索。在本文中，我们介绍了一种名为DifFUSER的新方法，它利用扩散模型进行三维物体检测和BEV地图分割的多模态融合。由于扩散具有内在的去噪特性，因此DifFUSER能够在传感器故障时改善融合输出的质量，从而对传感器特征进行优化或合成。在架构方面，我们的DifFUSER块以分层BiFPN方式链接在一起，称为cMini-BiFPN，为潜在扩散提供了一种替代架构。我们进一步引入了一种门控自条件调制（GSM）潜在扩散模块以及渐进式传感器丢失训练（PSDT）范式，旨在为扩散过程增加更强的条件和传感器故障的鲁棒性。我们在Nuscenes数据集上进行了广泛的评估，结果显示DifFUSER不仅在BEV地图分割任务中实现了69.1％的mIOU的最新性能，而且在三维物体检测中也与领先的基于变压器的融合技术竞争激烈。

本文旨在探索扩展扩散模型在多传感器融合中的应用，以提高3D物体检测和BEV地图分割的性能。

本文提出了DifFUSER，一种基于扩散模型的多模态融合方法，利用扩散的去噪特性，能够在传感器故障的情况下对传感器特征进行优化或合成，从而提高融合输出的质量。文章采用了一种新的结构cMini-BiFPN，并引入了GSM潜在扩散模块和PSDT训练范式。

文章在Nuscenes数据集上进行了广泛的评估，结果表明，DifFUSER在BEV地图分割任务中实现了69.1％的mIOU，不仅实现了最先进的性能，而且在3D物体检测中也与领先的基于Transformer的融合技术竞争。

最近的相关研究包括：'End-to-End Multi-Modal Multi-Object Detection for Autonomous Driving'，'SqueezeSegV3: Spatially-Adaptive Convolution for Efficient Point-Cloud Segmentation'，'3D Object Proposals using Stereo Imagery for Accurate Object Detection'等。