Enhancing mmWave Radar Point Cloud via Visual-inertial Supervision

本文介绍了一种名为mmEMP的监督学习方法，它利用低成本的相机和惯性测量单元（IMU）增强了毫米波雷达点云，从而使得可以从商用车辆中获取众包训练数据。与普遍使用的激光雷达和摄像头系统相比，毫米波雷达对恶劣的天气条件（如雾、暴雨和暴风雪）具有很强的鲁棒性，但其点云稀疏。目前的技术通过监督激光雷达数据来增强点云。然而，高性能的激光雷达价格昂贵，且不常见于车辆上。本文首先设计了一种动态3D重建算法，恢复了动态特征的3D位置。然后，设计了一个神经网络来密集化雷达数据并消除虚假的雷达点。我们在真实世界中构建了一个新的数据集。大量实验表明，与使用激光雷达数据训练的SOTA方法相比，mmEMP实现了具有竞争力的性能。此外，我们使用增强的点云来执行目标检测、定位和映射，以展示mmEMP的有效性。由于动态物体的空间不确定性和RF多径的影响，将视觉惯性（VI）监督引入其中是具有挑战性的。

本论文旨在通过使用低成本相机和惯性测量单元（IMU）来增强毫米波雷达点云，解决毫米波雷达点云稀疏的问题，并且通过提供可行的训练数据，使得该方法可以被商用车辆进行众包训练。

该论文提出了一种名为mmEMP的监督学习方法，通过设计一种动态3D重建算法和一个神经网络，可以对毫米波雷达数据进行稠密化，并消除虚假雷达点，从而提高点云的质量。

该论文的亮点在于提出了一种低成本的解决方案来增强毫米波雷达点云，使得该方法可以被商用车辆进行众包训练。论文还设计了一系列实验来验证该方法的有效性，并使用增强的点云进行物体检测、定位和建图。值得关注的是，该方法的表现与使用LiDAR数据训练的SOTA方法相当。论文还提供了一个新的真实世界数据集。

在该领域，最近的相关研究包括：1）使用深度学习方法来增强雷达数据的分辨率；2）使用多传感器融合的方法来提高点云的质量；3）使用机器学习方法来消除雷达数据中的噪声和虚假点。相关的论文包括：1）《Deep Residual Learning for Radar Target Recognition》；2）《Fusion of LiDAR and Radar for Object Detection using Fast R-CNN》；3）《Radar Point Cloud Filtering using a Deep Network with Loopy Random Fields》。