Distribution and Depth-Aware Transformers for 3D Human Mesh Recovery

精确的野外数据下的人体网格恢复（HMR）是一个巨大的挑战，通常受到深度模糊和降低精度的影响。现有的方法要么利用姿势先验知识，要么利用多模态数据，如多视角或点云信息，但它们的方法经常忽视了单张图像中固有的宝贵场景深度信息。此外，由于姿势、形状和深度的固有变化，实现鲁棒的OOD数据下的HMR非常具有挑战性。因此，在建模人体形态时，理解潜在分布成为一个至关重要的子问题。出于对明确和鲁棒的人体建模的需求，我们引入了分布和深度感知的人体网格恢复（D2A-HMR），这是一个端到端的变压器架构，精心设计以最小化分布之间的差异并利用先前的深度信息。我们的方法在某些情况下展示了处理OOD数据的优越性能，同时在受控数据集上始终实现了与最先进的HMR方法竞争的结果。

本文旨在解决人体网格恢复中存在的深度不确定性和精度降低等问题，特别是在野外数据中的恢复问题。同时，本文还试图解决处理分布不同的数据时出现的挑战。

本文提出了一种名为D2A-HMR的端到端transformer架构，旨在最小化分布之间的差异，并利用先前的深度信息来提高场景深度感知能力。

本文的实验结果表明，D2A-HMR在处理分布不同的数据时表现出色，在控制数据集上也能够与现有的HMR方法保持竞争性。此外，本文还开源了代码和数据集。

在这个领域中，最近的相关研究包括：“End-to-end Recovery of Human Shape and Pose”、“Multi-View Stereo Holistic Scene Understanding”和“DeepHuman: 3D Human Reconstruction from a Single Image”。