EfficientMFD: Towards More Efficient Multimodal Synchronous Fusion Detection

多模态图像融合和物体检测在自动驾驶中扮演着至关重要的角色。当前的联合学习方法在多模态融合检测任务中取得了重要进展，结合了纹理细节和客观语义信息。然而，繁琐的训练步骤限制了其在更广泛的实际工业部署中的应用。为了解决这个问题，我们提出了一种新的端到端多模态融合检测算法，名为EfficientMFD，通过一个训练步骤简化模型，展现出相当不错的性能。该算法采用同步联合优化方式，将两个组件进行端到端的联合优化，因此不会受到各自任务的局部最优解的影响。此外，在共享参数的梯度矩阵之间建立了全面的优化，可以收敛到具有融合检测权重的最优点。我们在几个公共数据集上进行了广泛测试，展示了在视觉上吸引人的融合和有利的检测性能（例如，6.6%的mAP50:95）超过其他最先进的方法。

本文旨在解决自动驾驶中多模态图像融合和目标检测的问题。当前的联合学习方法在多模态融合检测任务中取得了显著进展，但繁琐的训练步骤限制了其在实际工业部署中的应用。

本文提出了一种名为EfficientMFD的新型端到端多模态融合检测算法，通过两个组件之间的同步联合优化，实现了一个训练步骤，简化了模型并展现了不错的性能。

本文的亮点在于提出了一种简化模型的方法，同时在多模态融合和目标检测任务上展现了优异的性能。作者在多个公共数据集上进行了广泛的测试，并展示了比其他最先进方法更好的结果，例如6.6%的mAP50：95。此外，本文的优化方法可以对共享参数进行全面的优化，从而收敛到具有融合检测权重的最优点。

近期在这个领域中，还有一些相关的研究，例如： 1. Multi-Modal Object Detection with Transformers 2. Multimodal Sensor Fusion for 3D Object Detection: A Survey 3. Multimodal Object Detection with Cross-Modal Attention and Hard Negative Example Mining