【论文标题】THUNDR: Transformer-based 3D HUmaN Reconstruction with Markers

【作者团队】Mihai Zanfir，Andrei Zanfir，Eduard Gabriel Bazavan

【机构】微软

【发表时间】2021/6/18

【论文链接】https://arxiv.org/pdf/2106.09336.pdf

 

【推荐理由】

本文为了解决单目人体图像3D模型重建过程中，人体姿态和形状容易出失控的问题，提出了使用标记的基于 Transformer 的 3D 人体重建方法（THUNDR）。

 

THUNDR通过使用3d 标记表示，将无模型输出架构的预测能力与统计人体表面模型（如 GHUM）的正则化、人体测量学特性相结合，推导出基于全身统计的 3d 人体模型，实现端到端训练。基于Transformer的预测通道可以专注于与任务相关的图像区域，支持自我监督机制，并确保结果与人体测量学一致。THUNDR的结构示意图如图1所示，网络运行时，标记姿势器基于受约束的标记预测通道，预测通道再通过特征的线性层将最初生成的与人体测量学一致的身体网格自动编码为一组标记，然后标记被用于预测 GHUM 参数，产生人体姿态网格。

在实验部分，THUNDR在 Human3.6M 和 3DPW 上推断 3d 人体形状、关节位置和全局平移的任务中获得了全监督模型和自监督模型的最先进结果。

图1：THUNDR结构示意图

内容中包含的图片若涉及版权问题，请及时与我们联系删除