Mocap Everyone Everywhere: Lightweight Motion Capture With Smartwatches and a Head-Mounted Camera

我们提出了一种基于两个智能手表和一个头戴相机的轻量级、经济实惠的运动捕捉方法。与现有的使用六个或更多专业级IMU设备的方法相比，我们的方法更具成本效益和便利性。我们的方法可以使可穿戴式运动捕捉在任何地方都能够实现，从而实现在不同环境下的3D全身运动捕捉。为了克服传感器输入的极端稀疏性和模糊性，我们的关键思想是将从头戴相机获得的6D头部姿态集成到运动估计中。为了在宽敞的室内和室外场景中进行捕捉，我们提出了一种算法来跟踪和更新地面高度变化以定义头部姿态，同时结合多阶段基于Transformer的回归模块。我们还引入了利用自我中心图像的视觉线索进一步提高运动捕捉质量并减少模糊性的新策略。我们在各种具有挑战性的场景中展示了我们方法的性能，包括复杂的室外环境和日常动作，包括物体交互和多个个体之间的社交互动。

本文提出了一种基于两个智能手表和一个头戴式摄像机的轻量级和经济实惠的运动捕捉方法。与现有的使用六个或更多专业级IMU设备的方法相比，我们的方法更具成本效益和便利性。

为了克服传感器输入的极端稀疏性和模糊性，我们将从头戴式摄像机获得的6D头部姿势集成到运动估计中。为了在广阔的室内和室外场景中进行捕捉，我们提出了一种算法来跟踪和更新地面水平变化以定义头部姿势，同时结合了多阶段基于Transformer的回归模块。

该方法使得佩戴式运动捕捉技术在任何地方都可以得到普及，实现了多种环境下的3D全身动作捕捉。此外，论文还介绍了利用自我中心图像的视觉线索进一步提高运动捕捉质量并减少模糊性的新策略。作者在各种具有挑战性的场景下展示了该方法的性能，包括复杂的室外环境和日常动作，如物体交互和多个个体之间的社交互动。

近期相关研究包括：'Efficient and Accurate Monocular 3D Human Pose Estimation with Spatial and Temporal Transformations'，'Real-time 3D Human Motion Capture with Multiple Depth Cameras'，'Monocular 3D Human Pose Estimation by Generation and Ordinal Ranking'等。