【论文标题】HuMoR: 3D Human Motion Model for Robust Pose Estimation

【作者团队】Davis Rempe, Tolga Birdal, Aaron Hertzmann, Jimei Yang, Srinath Sridhar, Leonidas J. Guibas

【发表时间】2021/05/10

【机 构】斯坦福大学

【论文链接】https://arxiv.org/pdf/2105.04668.pdf

 

【推荐理由】本文出自斯坦福大学，面对3D人体运动和形状估计，在存在噪声和遮挡的情况下较难得到合理的姿势序列的挑战，本文提出了条件生成自动编码器表达式，引入HuMoR方法，从而可靠地估计出合理的姿势和形状。通过评估，证明该模型可以有效地进行运动重建。

 

本文介绍了HuMoR：一种用于稳健估计时间姿势和形状的3D人体运动模型。尽管从动态观察估计3D人体运动和形状方面已经取得了实质性进展，但是在存在噪声和遮挡的情况下恢复合理的姿势序列仍然是一个挑战。为此，本文提出了一种条件生成变量自动编码器形式的表达生成模型，该模型可学习运动序列每一步姿势变化的分布。此外，还引入了一种基于优化的灵活方法，该方法利用HuMoR作为运动，然后从模糊的观察结果中可靠地估计出合理的姿势和形状。通过广泛的评估，证明了在大型运动捕获数据集上进行训练后，该模型可以泛化为各种运动和身体形状，并且可以从多种输入模式（包括3D关键点和RGB（-D）视频）进行运动重建。

 

图1为HumoR总体概述。HuMoR是一个3D人体运动模型，用于鲁棒地估计时间姿态，该条件被构造为条件变量自动编码器。 （左）所提出的方法可以在多种输入方式下运行，并且旨在处理部分和嘈杂的观测结果。 中/右）测试时间优化使用HuMoR作为先验，使3D运动和形状适合输入序列； 其他输出包括接地和人与地面的接触（颜色为接地平面和接触）

 

图1 HuMoR概述

 

图2 HuMoR CVAE架构

内容中包含的图片若涉及版权问题，请及时与我们联系删除