LVCP: LiDAR-Vision Tightly Coupled Collaborative Real-time Relative Positioning

在没有GPS和先前地图的空地协同场景中，无人机和无人地面车辆（UGV）的相对定位一直是一个挑战。针对一架配备单目相机和一台配备LiDAR作为外部传感器的UGV的无人机，我们提出了一种基于视觉和LiDAR点云信息紧密耦合的鲁棒实时相对姿态估计方法（LVCP），它不需要先前的信息，如地图或精确的初始姿态。由于由3D传感器生成的大规模点云比图像生成的特征点云具有更精确的空间几何信息，因此我们利用LiDAR点云来纠正当相机遭受显着震动或IMU信噪比较低时，视觉惯性测距（VIO）中的漂移。为了实现这一点，我们提出了一个新的LiDAR-视觉协同定位的粗到精的框架。在这个框架中，我们基于空间几何信息构建点面关联，并创新地构建了一个点辅助的BA问题作为后端，同时估计相机和LiDAR的相对姿态并纠正VIO漂移。在这个过程中，我们提出了一种基于粒子群优化（PSO）的采样算法来完成当前相机-LiDAR姿态的粗略估计。在这个过程中，用于采样的相机的初始姿态是基于VIO传播获得的，有效特征平面关联数（VFPN）用于触发PSO采样过程。此外，我们提出了一种结合运动结构（SFM）和多级采样的方法来初始化算法，以解决缺乏初始值的挑战。

解决问题的是无GPS和地图情况下，无人机和无人地面车辆的相对位置问题。

通过视觉和激光雷达点云信息的紧密耦合，利用激光雷达点云信息来纠正视觉惯性测量单元（VIO）中的漂移，从而实现相对姿态估计。提出了一种新的粗到细的激光雷达-视觉协作定位框架，包括点-平面关联和基于粒子群优化的采样算法。

实验结果表明，该方法在无GPS和地图的情况下，能够实现无人机和无人地面车辆的实时相对姿态估计，且精度较高。使用了公开数据集，并且开源了代码。

相关论文包括：1. 'Robust Relative Pose Estimation for Air-Ground Collaboration without GPS' 2. 'Real-time Monocular Visual-Inertial State Estimation for MAVs in Unknown Environments'