MeshPose: Unifying DensePose and 3D Body Mesh reconstruction

DensePose可以提供图像与3D网格坐标的像素级准确关联，但不提供3D网格，而Human Mesh Reconstruction（HMR）系统则具有高的2D重投影误差，如DensePose定位度量所测量的。在这项工作中，我们介绍了MeshPose来共同解决DensePose和HMR问题。为此，我们首先引入了新的损失函数，使我们能够使用弱DensePose监督来准确地在2D中定位网格顶点的子集（“VertexPose”）。然后，我们将这些顶点提升到3D，得到一个低多边形身体网格（“MeshPose”）。我们的系统以端到端的方式进行训练，并且是第一个达到有竞争力的DensePose准确度的HMR方法，同时也是轻量级且易于高效推断，适用于实时AR应用的方法。

本文的问题是如何同时解决DensePose和HMR的问题，以及如何提高HMR的精度和效率。

本文提出了一种新的方法MeshPose，通过使用弱监督的DensePose来精确定位子集网格顶点，并将其提升到3D，得到一个低多边形的身体网格。该系统是端到端训练的，并且是第一个在保持轻量级和高效推理的同时，达到了有竞争力的DensePose精度的HMR方法。

本文的亮点包括提出了新的损失函数来使用弱监督的DensePose来精确定位子集网格顶点，并将其提升到3D，实现了HMR的精度和效率的提高。实验使用了多个数据集进行验证，并在准确性和速度方面取得了优异的表现。此外，作者还开源了其代码。

最近的相关研究包括：《DensePose: Dense Human Pose Estimation In The Wild》、《End-to-end Recovery of Human Shape and Pose》、《Learning to Reconstruct 3D Human Pose and Shape via Model-fitting in the Loop》等。