Is That Rain? Understanding Effects on Visual Odometry Performance for Autonomous UAVs and Efficient DNN-based Rain Classification at the Edge

无人机自主飞行的安全可靠性取决于系统能否根据传感器输入识别和适应当地环境的变化。目前最先进的局部跟踪和轨迹规划通常使用相机传感器输入到飞行控制算法中，但环境干扰如雨等对这些系统性能的影响程度大部分尚不清楚。本文首先描述了开发一个包含约335,000张图像的开放数据集，以研究七种不同降水条件对这些影响，并表明对于最先进的视觉里程计系统（VINS-Fusion），最差情况下平均跟踪误差可能达到1.5米。然后，我们使用数据集训练了一组适合于移动和受限部署场景的深度神经网络模型，以确定有效和准确地分类这些“雨天”条件的程度。其中最轻量级的模型（MobileNetV3 small）只需1.28 MB的内存占用和93 FPS的帧速率即可达到90％的准确率，适合部署在资源受限和延迟敏感的系统中。我们使用典型的飞行计算机硬件演示了毫秒级的分类延迟。因此，这样的模型可以输入到自主飞行控制器的干扰估计组件中。此外，具有实时准确确定环境条件能力的无人机数据可能有助于开发更细粒度的及时本地化天气预报。

研究如何在不同降水条件下，使用视觉传感器输入来进行无人机的本地跟踪和轨迹规划，并开发轻量级深度神经网络模型来识别降水条件。

使用开发的数据集训练轻量级深度神经网络模型，可以在资源受限和延迟敏感的系统中实现高精度的降水条件分类，以便将其用于自主飞行控制器的干扰估计组件。

论文开发了一个包含约335k图像的开放数据集，用于研究不同降水条件对无人机视觉定位系统的影响。通过使用数据集训练的深度神经网络模型，可以在低延迟和低内存占用的情况下实现高精度的降水条件分类。实验结果表明，这些模型可以用于无人机的干扰估计和更精细的天气预报。

最近的相关研究包括：1.使用雷达和光学传感器进行无人机的降雨估计；2.使用深度学习进行天气预报。