WHAC: World-grounded Humans and Cameras

本研究旨在通过利用三个关键要素：世界、人体和相机之间的协同作用，共同恢复表现性参数人体模型（即SMPL-X）和相应的相机姿态，从而在单目视频中准确地估计在世界坐标系下的人和相机轨迹，这是一个极具吸引力但具有挑战性和不适定的问题。我们的方法基于两个关键观察结果。首先，基于相机框架的SMPL-X估计方法可以很容易地恢复人的绝对深度。其次，人体运动本质上提供了绝对空间线索。通过整合这些见解，我们引入了一种新的框架，称为WHAC，以促进基于世界的表现性人体姿态和形状估计（EHPS）以及相机姿态估计，而不依赖于传统的优化技术。此外，我们提供了一个新的合成数据集WHAC-A-Mole，其中包括准确注释的人和相机，并具有多样化的交互式人体动作以及逼真的相机轨迹。对标准和新建立的基准测试的广泛实验表明了我们框架的优越性和有效性。我们将公开代码和数据集。

本文旨在通过联合恢复表达性参数化人体模型（即SMPL-X）和相应的相机姿态，解决从单目视频中准确估计人类和相机轨迹的问题。

通过整合相机帧SMPL-X估计方法和人类运动固有的绝对空间线索，提出了一个新的框架，称为WHAC，以促进基于世界的表达性人体姿势和形状估计（EHPS）以及相机姿态估计，而不依赖传统的优化技术。

论文提出了一个新的框架WHAC来解决从单目视频中准确估计人类和相机轨迹的问题。此外，论文还提出了一个新的合成数据集WHAC-A-Mole，其中包括精确注释的人类和相机，并具有不同的交互式人类动作以及逼真的相机轨迹。实验结果表明，WHAC框架具有卓越的效果和功效。

最近的相关研究包括：\n1. DeepPose：人类姿态估计的深度神经网络\n2. Monocular Total Capture：单目视频中的人类姿态，形状和运动重建\n3. SMPLify-X：一个优化方法，用于估计SMPL模型的姿势，形状和相机姿态