$\text{Di}^2\text{Pose}$: Discrete Diffusion Model for Occluded 3D Human Pose Estimation

2024年05月27日
  • 简介
    连续扩散模型已经证明了其在解决单目三维人体姿态估计中固有的不确定性和不确定性方面的有效性。尽管它们具有优势,但需要大量的搜索空间和相应的大量训练数据,这使得这些模型容易生成生物力学上不合理的姿势。这一挑战在遮挡场景中尤为明显,因为从二维图像推断三维结构的复杂性加剧。为了应对这些限制,我们引入了离散扩散姿态($\text{Di}^2\text{Pose}$),这是一种专为遮挡三维人体姿态估计设计的新框架,利用了离散扩散模型的优势。具体而言,$\text{Di}^2\text{Pose}$采用两阶段过程:首先通过“姿势量化步骤”将三维姿势转换为离散表示,然后通过“离散扩散过程”在潜在空间中对其进行建模。这种方法创新性地将搜索空间限制在物理上可行的配置中,并增强了模型在潜在空间内理解遮挡如何影响人体姿态的能力。在各种基准测试(例如Human3.6M、3DPW和3DPW-Occ)上进行的广泛评估已经证明了其有效性。
  • 作者讲解
  • 图表
  • 解决问题
    本论文旨在解决单目3D人体姿态估计中存在的不确定性和不确定性所带来的问题,特别是在遮挡场景下。作者提出了一种新的框架Di2Pose,以应对连续扩散模型在生成生物力学不合理姿势方面的缺陷。
  • 关键思路
    Di2Pose采用两阶段过程:首先通过姿态量化步骤将3D姿态转换为离散表示,然后通过离散扩散过程在潜在空间中对其进行建模。这种方法创新地将搜索空间限制在物理可行的配置范围内,并增强了模型在潜在空间内理解遮挡如何影响人体姿态的能力。
  • 其它亮点
    论文在多个基准测试集上进行了广泛的评估,并证明了Di2Pose的有效性。实验结果表明,Di2Pose在处理遮挡场景下的3D人体姿态估计方面比当前最先进的方法表现更好。此外,作者还提供了与其他方法的比较,以及对模型的可解释性进行了分析。
  • 相关研究
    在这个领域中,最近的相关研究包括:《Monocular 3D Human Pose Estimation in the Wild Using Improved CNN Supervision》、《Learning to Reconstruct 3D Human Pose and Shape via Model-fitting in the Loop》、《3D Human Pose Estimation in the Wild by Adversarial Learning》等。
许愿开讲
PDF
原文
点赞 收藏
向作者提问
NEW
分享到Link

提问交流

提交问题,平台邀请作者,轻松获得权威解答~

向作者提问