PhysPT: Physics-aware Pretrained Transformer for Estimating Human Dynamics from Monocular Videos

目前的方法在从单目视频中估计3D人体运动方面已经取得了有希望的进展，但它们的运动估计通常是不真实的，因为它们主要考虑了运动学。在本文中，我们介绍了一种名为Physics-aware Pretrained Transformer（PhysPT）的模型，它可以改善基于运动学的运动估计并推断运动力。PhysPT利用Transformer编码器-解码器骨干结构以自监督的方式有效地学习人体动力学。此外，它还结合了控制人类运动的物理原理。具体而言，我们构建了一个基于物理的身体表示和接触力模型。我们利用它们来施加新的物理启发式训练损失（即力损失、接触损失和欧拉-拉格朗日损失），使PhysPT能够捕捉人体的物理特性和所经历的力。实验证明，一旦训练完成，PhysPT可以直接应用于基于运动学的估计，显著提高其物理可信度并生成有利的运动力。此外，我们还表明，这些具有物理意义的量转化为一个重要的下游任务——人类动作识别的精度提高。

本文旨在提高从单目视频中估计三维人体运动的物理真实性，通过引入物理启发式的预训练Transformer（PhysPT）来实现这一目标。

本文提出了一种基于物理原理的人体表示和接触力模型，并利用它们来实施新的物理启发式训练损失（力损失、接触损失和欧拉-拉格朗日损失），从而使PhysPT能够捕捉人体的物理属性和所经历的力。

本文的亮点包括：使用自监督学习的方式有效地学习人体动力学；引入物理原理来提高运动估计的真实性；通过实验表明，PhysPT能够直接应用于基于运动学的估计来显著提高其物理可信度和生成有利的运动力；进一步表明这些物理上有意义的量转化为人类行为识别的改进精度。

最近的相关研究包括：C. Zhang等人的“Neural Body: Implicit Neural Representations with Structured Latent Codes for Novel View Synthesis of Dynamic Humans”；T. Siu等人的“Learning to Dress 3D People in Generative Clothing”；J. Li等人的“Monocular Temporal Human Motion Analysis with Multi-Level Contextual Model”等。