NeuFlow: Real-time, High-accuracy Optical Flow Estimation on Robots Using Edge Devices

本文提出了一种高效的光流架构NeuFlow，既考虑了高精度又解决了计算成本问题。该架构采用全局到局部的方案，首先利用不同空间分辨率提取的输入图像特征进行全局匹配，在1/16分辨率上估计初始光流，捕捉大位移，然后在1/8分辨率上通过轻量级CNN层进行精细调整，以获得更好的精度。我们在Jetson Orin Nano和RTX 2080上评估了我们的方法，证明了在不同计算平台上的效率改进。与几种最先进的方法相比，我们实现了显着的10倍到80倍的加速，同时保持了可比较的精度。我们的方法在边缘计算平台上实现了约30 FPS的帧率，这在部署诸如无人机等小型机器人上的复杂计算机视觉任务（如SLAM）方面具有重大突破。完整的训练和评估代码可以在https://github.com/neufieldrobotics/NeuFlow上获得。

提高实时高精度光流估计的效率，以应用于机器人定位和地图制作、计算机视觉中的物体跟踪和活动识别等领域。

提出了一个名为NeuFlow的高效光流架构，采用全局到局部的方案，结合轻量级CNN层，通过在不同空间分辨率下提取的图像特征进行全局匹配，以在1/16分辨率下估计初始光流，然后在1/8分辨率下进行细化。

实验表明，与几种最先进的方法相比，NeuFlow在不同计算平台上实现了10x-80x的加速，同时保持了可比较的精度。在边缘计算平台上，该方法每秒可达30帧，这在小型机器人如无人机上部署复杂的计算机视觉任务如SLAM方面具有重要意义。论文提供了完整的训练和评估代码。

在近期的研究中，也有一些相关的光流估计方法，如PWC-Net、RAFT、LiteFlowNet等。