DPMesh: Exploiting Diffusion Prior for Occluded Human Mesh Recovery

本文介绍了一种名为DPMesh的创新框架，用于恢复被遮挡的人体网格，由于在严重遮挡下提取有效的图像特征的困难，当前方法面临挑战。与以往依赖于传统骨干进行香草特征提取的方法不同，DPMesh将预训练的去噪U-Net作为其图像骨干，无缝地集成了强大的知识，并执行单步推理以提供遮挡感知信息。为了增强对遮挡姿势的感知能力，DPMesh通过条件注入引入了精心设计的指导，从2D观察中产生有效的控制，为去噪U-Net提供指导。此外，我们探索了一种专用的嘈杂关键点推理方法，以减轻遮挡和拥挤场景引起的干扰。这种策略充分释放了扩散先验的感知能力，从而提高了准确性。广泛的实验证实了我们框架的功效，我们在遮挡特定和标准数据集上均优于现有方法。这些有说服力的结果强调了它在涉及遮挡和拥挤场景的挑战性情况下实现精确且稳健的3D人体网格恢复的能力。

本论文旨在解决人体网格恢复中的遮挡问题，通过利用预训练的文本到图像扩散模型中嵌入的物体结构和空间关系的深度扩散先验来提高恢复准确性。

DPMesh框架将预训练的去噪U-Net与深度扩散先验相结合，通过条件注入提供有效控制，并探索专用的噪声关键点推理方法来缓解遮挡和拥挤场景带来的干扰。

论文通过实验验证了DPMesh框架的有效性，并在遮挡特定和标准数据集上优于现有的方法。此外，论文还探讨了一些值得进一步研究的问题，如如何进一步提高精度和鲁棒性。

在这个领域中的相关研究包括：《DeepHuman: 3D Human Reconstruction from a Single Image》、《PIFuHD: Multi-Level Pixel-Aligned Implicit Function for High-Resolution 3D Human Digitization》等。