POCO: 3D Pose and Shape Estimation with Confidence

解决问题：这篇论文的目的是为了解决当前大多数人体姿态和形状回归器无法报告其输出置信度的问题，这导致下游任务无法区分准确估计和不准确估计。因此，该论文提出了一种新的框架POCO，可以在单个前向传递中训练HPS回归器估计3D人体姿态和形状以及置信度。

关键思路：POCO框架的关键思路是引入双重条件策略（DCS）来回归与姿势重建质量高度相关的不确定性。POCO框架可以应用于任何HPS回归器，通过训练网络推理不确定性有助于提高其学习准确估计3D姿态的能力。

其他亮点：该论文的实验结果表明，训练网络推理不确定性有助于提高准确估计3D姿态的能力。此外，该论文还展示了如何使用置信度估计来改进下游任务，包括使用自动筛选的数据来提高准确度以及利用不确定性来自动识别视频中的不确定帧并进行修复。值得进一步深入研究的工作包括如何进一步提高准确性和如何将该框架应用于其他相关领域。

相关研究：近期的相关研究包括：

  1. "Monocular 3D Human Pose Estimation by Generation and Ordinal Ranking"，Shih-En Wei, Varun Ramakrishna, Takeo Kanade，Carnegie Mellon University
  2. "3D Human Pose and Shape Estimation from Multi-View Images by Regression"，Meng Wang, Yixiong Zou, Junsong Yuan，State University of New York at Buffalo
  3. "Learning to Reconstruct 3D Human Pose and Shape via Model-fitting in the Loop"，Xiangyu Zhang, Hao Ouyang, Xiaogang Wang，The Chinese University of Hong Kong

论文摘要：本文介绍了一种新的框架——POCO，用于训练人体姿态估计回归器。与现有的回归器不同，POCO不仅可以估计人体的三维姿态和形状，还可以在单次前馈传递中估计置信度。POCO引入了双重条件策略（DCS），用于回归高度相关于姿态重建质量的不确定性。POCO框架可以应用于任何人体姿态估计回归器，本文将其应用于HMR、PARE和CLIFF，并证明训练网络考虑不确定性可以帮助其更准确地估计三维姿态。本文的主要动机是为下游任务提供不确定性估计，作者通过两种方式证明了这一点：（1）使用置信度估计来引导HPS训练；（2）利用不确定性进行视频姿态估计，自动识别不确定帧并从置信帧中填补。

内容中包含的图片若涉及版权问题，请及时与我们联系删除