Motion Capture from Inertial and Vision Sensors

人体动作捕捉是许多计算机视觉和图形任务的基础。虽然工业级动作捕捉系统采用了复杂的摄像机阵列或昂贵的可穿戴传感器，在电影和游戏制作方面得到了广泛应用，但是对于个人应用而言，消费者可承受且易于使用的解决方案仍然不够成熟。为了利用单目摄像机和非常少量的惯性测量单元（IMUs）进行准确的多模式人体动作捕捉，我们在本文中提出了一个名为MINIONS的大规模运动捕捉数据集，该数据集是从惯性和视觉传感器中收集的。MINIONS具有以下几个特点：1）超过500万帧和400分钟的大规模数据；2）IMUs信号和RGB视频的多模式数据，标记有关节位置、关节旋转、SMPL参数等；3）包含了146个细粒度的单个和互动动作，并配有文本描述。通过使用所提出的MINIONS，我们进行了多模式动作捕捉的实验，并探索了使用单目摄像机和非常少量的IMUs进行消费者可承受的动作捕捉的可能性。实验结果强调了惯性和视觉传感器的独特优势，展示了消费者可承受的多模式动作捕捉的前景，并为进一步的研究和开发提供了有价值的资源。

解决问题：论文旨在提供一种消费者可负担的、易于使用的人体运动捕捉解决方案，通过融合单目相机和极少数惯性测量单元（IMUs）来实现准确的多模态人体运动捕捉。

关键思路：论文提出了一个大规模的人体运动捕捉数据集MINIONS，该数据集包含多模态数据，如IMUs信号和RGB视频，标注了关节位置、关节旋转、SMPL参数等信息。论文通过该数据集进行了多模态运动捕捉实验，展示了惯性和视觉传感器的独特优势，为消费者可负担的多模态人体运动捕捉提供了新的可能性。

其他亮点：MINIONS数据集包含了超过500万帧和400分钟的数据，包括146种细粒度单个和交互动作，具有文本描述。实验结果展示了IMUs和单目相机结合的优势，为进一步研究和开发提供了有价值的资源。

相关研究：最近的相关研究包括基于惯性测量单元的运动捕捉、基于视觉的运动捕捉、多模态运动捕捉等。