Explore the LiDAR-Camera Dynamic Adjustment Fusion for 3D Object Detection

摄像头和激光雷达是用于实现准确且稳健自动驾驶系统的信息传感器。然而，这些传感器通常呈现出异构性质，导致分布模态差异，从而为融合过程带来了重大挑战。为了解决这个问题，强大的融合技术尤为关键，特别是对于增强三维物体检测。在本文中，我们引入了一种动态调整技术，旨在对齐模态分布并学习有效的模态表示以增强融合过程。具体而言，我们提出了一个三相域对齐模块。该模块调整了来自摄像头和激光雷达的特征分布，使它们更接近于地面真实分布并最小化差异。此外，我们探索了改进的表示获取方法，包括模态交互和专业增强。最后，我们提出了一种自适应学习技术，将语义和几何信息融合进行动态实例优化。在nuScenes数据集上的广泛实验展示了与最先进方法相当的性能。我们的代码将在未来发布。

如何解决相机和激光雷达等传感器之间的分布差异对于自动驾驶系统中三维物体检测的影响？

提出了一种动态调整技术，用于对齐模态分布并学习有效的模态表示，以增强融合过程。具体而言，提出了一个三阶段的域对齐模块来调整相机和激光雷达的特征分布，使它们更接近真实分布并最小化差异。

论文提出的方法在nuScenes数据集上表现出与现有最先进方法相当的性能。此外，还探索了改进的表示获取方法和自适应学习技术，并表示未来将公开代码。

在最近的相关研究中，还有一些相关的研究，如：《Multi-Modal Fusion Transformer for End-to-End Autonomous Driving》、《FusionStereo: A Modular Approach to Stereo Fusion》等。