Motor Focus: Ego-Motion Prediction with All-Pixel Matching

运动分析在各种应用中都扮演着关键角色，从虚拟现实和增强现实到辅助视觉导航。传统的自动驾驶技术虽然先进，但由于依赖于广泛的传感器阵列和不可行的计算框架，通常不能直接转化为行人应用。这凸显了在将这些解决方案应用于人类用户时存在重大差距，因为人类导航引入了独特的挑战，包括人类移动的不可预测性、便携设备的有限处理能力以及由于人类感知范围有限而需要方向响应的需求。在这个项目中，我们介绍了一种仅使用图像的方法，利用光流和自我运动补偿进行运动分析，以预测运动焦点——人类或机器集中他们的运动意图的位置和方式。同时，本文解决了手持和身体佩戴设备中的相机抖动问题，该问题可能会严重降低性能和准确性，通过应用高斯聚合来稳定预测的运动焦点区域，并增强运动方向的预测精度。这也提供了一个适应用户即时环境的强大实时解决方案。此外，在实验部分，我们展示了传统的密集光流方法和所提出方法之间的运动焦点估计的定性分析。在定量测试中，我们展示了所提出方法在专门用于运动焦点估计任务的小型数据集上的性能。

论文旨在解决人类或机器在运动过程中注意力集中的问题，并提出了一种基于光流和自我运动补偿的图像方法来预测运动焦点。同时，解决了手持和身体佩戴设备的相机抖动问题。

论文提出的方法使用光流和自我运动补偿来预测运动焦点，并应用高斯聚合来稳定预测的运动焦点区域，提高运动方向预测的准确性。

论文提出的方法可以应用于虚拟现实、增强现实和辅助视觉导航等领域，并提供了适应用户环境的实时解决方案。实验结果表明，该方法相比传统的密集光流方法具有更好的运动焦点估计效果。

在该领域的相关研究还包括基于视觉注意力模型的人类行为预测和基于深度学习的运动预测等研究。