Neural Localizer Fields for Continuous 3D Human Pose and Shape Estimation

随着可用训练数据的爆炸性增长，单图像三维人体建模正处于向数据为中心的范式转变之中。成功利用数据规模的关键是设计灵活的模型，可以从不同研究人员或供应商产生的各种异构数据源中进行监督。为此，我们提出了一个简单而强大的范例，可以无缝地统一不同的人体姿势和形状相关任务和数据集。我们的公式集中在在训练和测试时查询人体体积的任意点，并获得其在三维中的估计位置的能力。我们通过学习连续的神经场身体点定位器函数来实现这一点，每个函数都是一个不同参数化的基于三维热图的卷积点定位器（检测器）。为了生成参数化输出，我们提出了一个有效的后处理步骤，将SMPL系列身体模型拟合到非参数化的关节和顶点预测中。通过这种方法，我们可以自然地利用不同注释的数据源，包括网格、2D/3D骨架和密集姿势，而无需在它们之间进行转换，从而训练大规模的三维人体网格和骨架估计模型，在几个公共基准测试中的表现都比现有技术有了显著提升，例如3DPW、EMDB和SSP-3D。

解决问题：该论文旨在通过设计灵活的模型，无缝地统一不同的人体姿态和形状相关任务和数据集，以利用数据规模并在几个公共基准测试中取得最先进的结果。

关键思路：该论文的关键思路是通过学习连续的神经场来实现人体点定位器函数，每个定位器函数都是一个不同参数化的3D热图卷积点定位器（检测器），并提出了一种有效的后处理步骤，将SMPL系列身体模型拟合到非参数关节和顶点预测中，从而生成参数化输出。

其他亮点：该论文的实验设计了哪些数据集，使用了哪些数据集，是否有开源代码。实验结果表明，该方法在几个公共基准测试中取得了最先进的结果，值得进一步研究。

相关研究：最近在这个领域中，还有一些相关的研究，如：DeepLabCut，SPIN，HMR等。