Low Latency Visual Inertial Odometry with On-Sensor Accelerated Optical Flow for Resource-Constrained UAVs

Visual Inertial Odometry（VIO）是一项任务，其目的是从机载相机流与额外的惯性测量单元（IMU）测量融合中估计代理的运动轨迹。VIO中的一个关键子任务是跟踪特征，这可以通过光流（OF）来实现。由于OF的计算对于计算负载和内存占用是一项资源密集型任务，需要在低延迟下执行，特别是在机器人应用中，OF估计现在在强大的CPU或GPU上执行。这限制了OF在广泛的应用中的使用，其中部署这种强大的、耗电量大的处理器由于成本、大小和功耗等约束是不可行的。在传感器上的硬件加速是一种有前途的方法，可以实现低延迟的VIO，即使在资源受限的设备上，例如纳米无人机。本文评估了利用由全局快门相机和应用特定集成电路（ASIC）组成的紧凑OF传感器的VIO传感器系统的加速。通过用来自这个OF相机的数据替换VINS-Mono流水线的特征跟踪逻辑，我们证明了VIO流水线的延迟减少了49.4%，计算负载减少了53.7%，使得VINS-Mono操作在树莓派计算模块4的四核ARM Cortex-A72处理器上可以达到50 FPS，而不是20 FPS。

本论文旨在解决在资源受限设备上实现低延迟的Visual Inertial Odometry (VIO)任务的问题，通过使用一种紧凑的光流传感器来加速VIO流水线。

通过使用全局快门相机和ASIC构成的光流传感器替换VINS-Mono流水线的特征跟踪逻辑，实现了VIO流水线计算负载和延迟的显著降低。

实验结果显示，使用光流传感器可以使VINS-Mono流水线的延迟降低49.4％，计算负载降低53.7％，使其在Raspberry Pi Compute Module 4的四核ARM Cortex-A72处理器上的操作速度从20 FPS提高到50 FPS。论文使用了公开数据集，并提供了开源代码。

与本论文相关的研究包括：1.使用机器学习方法实现VIO任务的研究；2.使用其他传感器（如Lidar）实现VIO任务的研究。