A Machine Learning Approach for Predicting Upper Limb Motion Intentions with Multimodal Data in Virtual Reality

在过去的十年里，交互式虚拟康复领域取得了显著进展。物理治疗（PT）是一种提高身体损伤的高效方法。然而，患者在康复过程中的动力和进展跟踪仍然是一个挑战。本研究通过一种基于机器学习的方法来填补这一空白，以客观地测量非临床参与者使用上肢虚拟治疗系统的康复结果。在这项研究中，我们使用虚拟现实进行多个追踪任务，同时使用KinArm机器人和自制的可穿戴袖套传感器收集运动数据。我们引入了一个两步机器学习架构来预测参与者的运动意图。第一步使用凝视来预测参与者标记点所属的到达任务段，而第二步则利用长短期记忆（LSTM）模型来预测基于可穿戴传感器和KinArm的阻力变化值的方向性运动。我们特别提出将原始阻力数据转换到时间域，这显著提高了模型的准确性，提高了34.6%。为了评估我们的模型的有效性，我们比较了不同的分类技术和各种数据配置。结果表明，我们提出的计算方法在预测参与者行动方面表现出色，钻石到达任务的准确度为96.72%，圆形到达任务的准确度为97.44%，这证明了使用多模态数据，包括眼动跟踪和阻力变化，以客观地测量虚拟康复环境中的表现和意图的巨大潜力。

如何客观地测量虚拟康复系统的效果，尤其是患者的动机和进展追踪？

提出了一种基于机器学习的方法来预测参与者的动作意图，使用多模态数据来客观地测量虚拟康复系统的效果。

使用虚拟现实进行追踪任务，收集动作和运动数据，使用KinArm机器人和自制的可穿戴袖套传感器。提出了两步机器学习架构来预测参与者的动作意图。结果表明，该方法在预测参与者的动作方面非常出色。

最近的相关研究包括使用虚拟现实进行康复和使用机器学习来预测动作意图的研究。例如，标题为《使用虚拟现实技术进行康复的综述》和《使用深度学习预测人类动作意图的研究》的论文。