MMVP: A Multimodal MoCap Dataset with Vision and Pressure Sensors

脚接触是人类动作捕捉、理解和生成的重要线索。现有的数据集往往使用视觉匹配加阈值或加入压力信号来注释密集的脚接触。然而，这些方法要么精度低，要么只适用于小范围和缓慢的运动。目前仍缺乏一个视觉-压力多模态数据集，它能够涵盖大范围和快速的人类运动，并且具有准确和密集的脚接触注释。为了填补这一空白，我们提出了一个名为MMVP的带有视觉和压力传感器的多模态MoCap数据集。MMVP提供了与RGBD观测同步的准确和密集的足底压力信号，这对于可信的形状估计、无脚漂移的鲁棒姿势拟合以及准确的全局平移跟踪尤为有用。为了验证数据集，我们提出了一种RGBD-P SMPL拟合方法，还提出了一个单目视频基线框架VP-MoCap，用于人类运动捕捉。实验证明，我们的RGBD-P SMPL拟合结果明显优于纯视觉运动捕捉。此外，VP-MoCap在脚接触和全局平移估计准确度方面优于SOTA方法。我们相信数据集和基线框架的配置将刺激这个方向的研究，并为各种领域的MoCap应用提供良好的参考。项目页面：https://metaverse-ai-lab-thu.github.io/MMVP-Dataset/.

提供一个视觉和压力传感器多模态的大范围、快速人体运动捕捉数据集，以及准确、密集的足部接触注释，以填补现有数据集的不足。

提出了一个多模态MoCap数据集，名为MMVP，该数据集提供了与RGBD观察同步的准确、密集的足底压力信号，可用于形状估计、无足部漂移的鲁棒姿势拟合和准确的全局平移跟踪。

论文提出了一个RGBD-P SMPL拟合方法和一个基于单目视频的基线框架VP-MoCap，用于人体运动捕捉。实验表明，RGBD-P SMPL拟合结果显著优于纯视觉运动捕捉。此外，VP-MoCap在足部接触和全局平移估计精度方面优于SOTA方法。

最近在这个领域中，还有一些相关研究，例如“Vision-based 3D Foot Shape Reconstruction for Virtual Try-on”，“3D Human Pose Estimation from Monocular Images with Deep Convolutional Neural Network”，“Monocular 3D Human Pose Estimation by Generation and Ordinal Ranking”。