NeuFlow v2: High-Efficiency Optical Flow Estimation on Edge Devices

实时高精度的光流估计对于各种实际应用至关重要。虽然最近的基于学习的光流方法已经达到了高精度，但它们通常伴随着显著的计算成本。在本文中，我们提出了一种高效的光流方法，它在保持高精度的同时降低了计算需求。在NeuFlow v1的基础上，我们引入了新的组件，包括更轻量级的主干网络和快速的细化模块。这两个模块都有助于保持计算需求轻盈，同时提供接近最先进的精度。与其他最先进的方法相比，我们的模型在合成和实际数据上均实现了可比较的性能，同时实现了10倍到70倍的加速。在Jetson Orin Nano上，它能够以超过20 FPS的速度运行在512x384分辨率图像上。完整的训练和评估代码可在https://github.com/neufieldrobotics/NeuFlow_v2找到。

提高光流估计的实时性和准确性，以满足各种现实应用的需求。

提出一种高效的光流方法，通过轻量级骨干网络和快速细化模块来实现高准确性和降低计算量的平衡。

该方法在合成和真实数据上实现了接近最先进的性能，并且相比其他最先进的方法，可以实现10倍至70倍的加速。该模型能在Jetson Orin Nano上以超过20 FPS的速度运行，完整的训练和评估代码在GitHub上开源。

最近的相关研究包括FlowNet3D、RAFT和PWC-Net等。