Sports Analysis and VR Viewing System Based on Player Tracking and Pose Estimation with Multimodal and Multiview Sensors

体育分析和观赏在当前的体育领域中发挥着至关重要的作用，不仅为教练和运动员提供了重要价值，也为球迷和媒体提供了重要帮助。近年来，虚拟现实（VR）和增强现实（AR）技术的快速发展为观看比赛引入了新平台。在VR/AR中可视化的体育比赛代表了一项革命性的技术，为观众提供了新的沉浸式观看体验。然而，这个领域仍然缺乏相关的研究。在这项工作中，我们首次提出了一个基于VR/AR平台的全面的体育比赛分析和实时可视化系统。首先，我们利用多视角激光雷达和摄像头收集多模态比赛数据。随后，我们提出了一个基于有限的监督数据的多人追踪和姿态估计框架，从点云和图像中提取精确的球员位置和动作。此外，我们进行了球员的化身建模，以获得他们的3D模型。最终，利用这些3D球员数据，我们在VR/AR上进行比赛分析和实时可视化。广泛的定量实验证明了我们的多人追踪和姿态估计框架的准确性和鲁棒性。可视化结果展示了我们的体育可视化系统在VR/AR设备上观看比赛方面的巨大潜力。我们收集的多模态比赛数据集和所有相关代码将很快发布。

基于VR/AR平台的运动竞赛分析和实时可视化系统

利用多视角LiDAR和相机采集多模态比赛数据，提出基于少量监督数据的多球员跟踪和姿态估计框架，并进行选手的3D建模，最终在VR/AR上进行实时可视化

论文提出了一套完整的基于VR/AR平台的运动竞赛分析和实时可视化系统，实验结果表明了多球员跟踪和姿态估计框架的准确性和鲁棒性，同时展示了系统在VR/AR设备上观看比赛的潜力，作者还将收集的多模态竞赛数据集和相关代码进行了开源

近年来，虚拟现实和增强现实技术在运动领域中得到了广泛应用，但相关研究还比较缺乏。目前已有的研究主要集中在运动员表现分析、动作识别和姿态估计等方面，如“Real-time markerless motion capture with multiple depth cameras for sports applications”和“Pose estimation and tracking of multiple people in sports videos with a camera array and a moving camera”等。