Score-Guided Diffusion for 3D Human Recovery

我们提出了一种名为“Score-Guided Human Mesh Recovery（ScoreHMR）”的方法，用于解决三维人体姿态和形状重建的反问题。这些反问题涉及将人体模型拟合到图像观察中，传统上通过优化技术来解决。ScoreHMR模仿模型拟合方法，但通过潜在空间中的得分引导实现与图像观察的对齐。扩散模型的训练旨在捕捉给定输入图像的人体模型参数的条件分布。通过使用任务特定的分数来引导其去噪过程，ScoreHMR有效地解决了各种应用的反问题，无需重新训练任务不可知的扩散模型。我们在三种设置/应用程序上评估了我们的方法。这些是：（i）单帧模型拟合；（ii）从多个未校准的视图重建；（iii）在视频序列中重建人类。ScoreHMR在所有设置中始终优于所有优化基线，并在流行的基准测试中表现出色。我们在https://statho.github.io/ScoreHMR上提供我们的代码和模型。

ScoreHMR试图解决的问题是3D人体姿态和形状重建的反问题，即通过图像观测来拟合一个人体模型。它旨在通过得分引导的扩散模型来解决这个问题。

ScoreHMR的关键思路是使用扩散模型的潜在空间中的得分引导来实现与图像观测的对齐，从而有效地解决各种应用程序的反问题，而无需重新训练任务无关的扩散模型。

论文在三个设置/应用程序上评估了ScoreHMR，包括单帧模型拟合、多个未校准视图的重建以及视频序列中的人类重建。ScoreHMR在所有设置上始终优于所有优化基线，并在流行的基准测试中获得了最佳结果。作者公开了代码和模型。

最近在这个领域中，还有一些相关的研究，如HMR，SPIN和DensePose。