AdaFuse: Adaptive Multiview Fusion for Accurate Human Pose Estimation in the Wild

论文链接：https://arxiv.org/abs/2010.13302 代码链接：https://github.com/zhezh/adafuse-3d-human-pose

表现SOTA！性能优于PifPaf等网络，还创建了一个大型的合成数据集Occlusion-Person，数据集和代码即将开源！作者单位：东南大学, MSRA, JHU

遮挡可能是人体姿态估计的最大挑战。典型的解决方案通常依靠传感器（例如IMU）来检测咬合的关节。为了使任务真正不受限制，我们提出了一种自适应多视图融合方法AdaFuse，该方法可以通过利用可见视图中的特征来增强遮挡视图中的功能。 AdaFuse的核心是确定两个视图之间的点对点对应关系，我们通过探索热图表示的稀疏性来有效地解决这些问题。我们还为每个摄像机视图学习了自适应融合权重，以反映其特征质量，以减少良好特征被``bad'视图不合要求地破坏的机会。融合模型是使用姿势估计网络进行端到端训练的，无需额外的调整即可直接应用于新的相机配置。我们对包括Human3.6M，Total Capture和CMU Panoptic在内的三个公共数据集进行了广泛的评估。它在所有方面都优于最新技术。我们还创建了一个大型的合成数据集Occlusion-Person，它使我们能够对被遮挡的关节进行数值评估，因为它为图像中的每个关节提供了遮挡标签。

内容中包含的图片若涉及版权问题，请及时与我们联系删除