Online,Target-Free LiDAR-Camera Extrinsic Calibration via Cross-Modal Mask Matching

LiDAR-相机外参标定（LCEC）对于智能车辆中的数据融合至关重要。在离线情况下，基于目标的方法长期以来一直是该领域的首选。然而，它们经常表现出对真实世界环境的适应性差。这很大程度上是因为由于中等冲击或在振动环境中进行延长操作，外参参数可能会发生显着变化。相比之下，基于在线的无目标方法提供了更大的适应性，但通常缺乏鲁棒性，主要是由于跨模态特征匹配的挑战。因此，在本文中，我们释放了大视野模型（LVM）的全部潜力，这些模型正在计算机视觉和机器人领域中成为重要趋势，特别是在具有体现人工智能的领域中，以实现在各种具有挑战性的场景中的鲁棒和准确的在线无目标LCEC。我们的主要贡献有三个方面：我们引入了一种称为MIAS-LCEC的新型框架，提供了一个开源的多功能标定工具箱，具有交互式可视化界面，并发布了三个从各种室内和室外环境中捕获的真实世界数据集。我们框架和工具箱的基石是跨模态掩模匹配（C3M）算法，该算法基于最先进的LVM开发，能够生成足够可靠的匹配。对这些真实世界数据集进行的广泛实验证明了我们方法的鲁棒性及其相对于最先进的方法的优越性，特别是对于具有超宽视野的固态激光雷达。

解决问题：论文旨在通过使用大视野模型（LVM）来实现在线、无需目标的LiDAR-相机外参校准（LCEC）以应对真实世界的挑战。

关键思路：论文提出了一种名为C3M的交叉模态掩模匹配算法，通过使用最先进的LVM生成足够可靠的匹配，从而实现了鲁棒且准确的在线、无需目标的LCEC。

其他亮点：论文提供了一个名为MIAS-LCEC的新框架和一个交互式可视化界面的开源工具箱，同时发布了三个真实世界数据集。实验结果表明，该方法在各种挑战性场景下表现出鲁棒性和卓越性能，特别是对于具有超宽视场的固态LiDAR。

相关研究：最近的相关研究包括使用深度神经网络进行LCEC的方法，例如《DeepLiDAR: Deep Surface Normal Guided Depth Prediction for Outdoor Scene from Sparse LiDAR Data and Single Color Image》和《A Mutual Learning Method for Extrinsic Calibration of Vision and Lidar》。