Multi-Camera Asynchronous Ball Localization and Trajectory Prediction with Factor Graphs and Human Poses

在球类运动中，特别是像网球这样具有高速球运动和强力旋转的运动中，快速和准确地定位和预测球的运动轨迹对于开发敏捷的机器人至关重要。旋转引起的马格努斯效应使得球的轨迹预测和与地面接触时的弹跳动力学变得更加复杂。本研究介绍了一种创新的方法，将多摄像机系统与因子图相结合，实现了实时和异步的三维网球定位，并估计了隐藏状态，如速度和旋转，以进行轨迹预测。此外，为了在球的飞行早期增强旋转推断，我们使用时间卷积网络(TCN)集成人体姿态数据，以在因子图中计算旋转先验。这种改进提供了更准确的旋转先验，从而导致改进了预测的早期隐藏状态的推断。我们的结果显示，经过训练的TCN可以预测出RMSE为5.27 Hz的旋转先验。将TCN集成到因子图中，相对于使用自适应扩展卡尔曼滤波器的基线方法，降低了着陆位置预测误差超过63.6%。

本文旨在解决高速球类运动中，特别是像网球这样的运动中，球的精确定位和预测问题。由于球的自旋效应，球的轨迹预测变得更加复杂，因此需要一种新的方法来解决这个问题。

本文提出了一种创新的方法，将多摄像机系统与因子图相结合，实现了实时和异步的三维网球定位，并估计了隐藏状态（如速度和自旋）以进行轨迹预测。此外，为了提高早期阶段的自旋推断，我们使用了人体姿态数据，并结合时间卷积网络（TCN）来计算因子图中的自旋先验。

本文的实验结果表明，训练后的TCN可以以5.27 Hz的RMSE预测自旋先验。将TCN集成到因子图中，相对于使用自适应扩展卡尔曼滤波器的基线方法，降低了着陆位置预测误差超过63.6%。

在这个领域中，最近的相关研究包括：1. “A Deep Learning Approach for Tennis Ball Detection and Tracking in Complex Scenes”，2. “Real-time Detection and Tracking of Tennis Balls with Deep Learning”，3. “Detection and Tracking of Tennis Balls in Video Sequences using Deep Learning Features and Motion Analysis”。