HandDiff: 3D Hand Pose Estimation with Diffusion on Image-Point Cloud

从输入的手部帧中提取关键点位置，也称为3D手部姿态估计，是各种人机交互应用中的关键任务。实质上，3D手部姿态估计可以视为在输入帧的条件下生成3D点子集的问题。由于扩散式生成模型的最近显著进展，手部姿态估计也可以从扩散模型中受益，以高质量估计关键点位置。然而，直接将现有的扩散模型部署到解决手部姿态估计是非常困难的，因为它们无法实现复杂的排列映射和精确的定位。基于这个动机，本文提出了HandDiff，这是一种基于扩散的手部姿态估计模型，它可以在手形图像点云的条件下迭代去噪准确的手部姿态。为了恢复关键点排列和精确的位置，我们进一步引入了关节条件和局部细节条件。实验结果表明，所提出的HandDiff在四个具有挑战性的手部姿态基准数据集上显著优于现有方法。代码和预训练模型可在 https://github.com/cwc1260/HandDiff 上公开获取。

本论文旨在解决手部姿势估计中的3D关键点定位问题，提出了一种基于扩散模型的手部姿势估计模型HandDiff。

HandDiff模型通过迭代去噪来估计手部姿势，同时引入联合条件和局部细节条件来恢复关键点排列和精确位置。

通过实验表明，HandDiff模型在四个具有挑战性的手部姿势基准数据集上显著优于现有方法。此外，该论文还提供了代码和预训练模型。

在这个领域的相关研究包括：《3D手部姿势估计的深度学习方法》、《基于深度学习的手部姿势估计方法》等。