SelfPose3d: Self-Supervised Multi-Person Multi-View 3d Pose Estimation

我们提出了一种新的自监督方法SelfPose3d，用于从多个相机视图估计多个人的3D姿势。与当前最先进的全监督方法不同，我们的方法不需要任何2D或3D的真实姿势，只使用校准相机设置中的多视图输入图像和从现成的2D人体姿势估计器生成的2D伪姿势。我们提出了两个自监督学习目标：在3D空间中进行自监督人员定位和自监督3D姿势估计。我们通过在所有视图中投影的根热图上对模型进行训练，从而实现了自监督3D人员定位，这些热图用作3D人员根位置的代表。然后，我们使用瓶颈表示对所有定位的人员的3D姿势进行建模，并将它们映射到所有视图中，获得2D关节，并使用2D高斯热图以端到端可微的方式进行渲染。之后，我们使用来自伪2D姿势的相应2D关节和热图进行学习。为了缓解伪标签的固有不准确性，我们提出了一种自适应监督注意机制来指导自监督学习。我们在三个公共基准数据集（包括Panoptic、Shelf和Campus）上进行了实验和分析，结果显示我们的方法是有效的，并且与全监督方法相当。代码可在\url{https://github.com/CAMMA-public/SelfPose3D}上获得。

论文旨在通过自监督学习方法，从多个摄像机视角的多个人物的图像中估计其三维姿态，而不需要2D或3D地面真实姿态。这是否是一个新问题？

论文提出了两个自监督学习目标：自监督人物在三维空间中的定位和自监督三维姿态估计。论文使用合成的3D点和所有视图中的投影根热图来实现自监督3D人物定位，并使用瓶颈表示法模拟所有定位人物的3D姿态，将其映射到所有视图中，以端到端可微的方式使用2D高斯热图呈现。同时，论文使用来自伪2D姿态的相应2D关节和热图进行学习，并提出自适应监督注意机制来指导自监督。这篇论文的思路有什么新意？

论文在三个公共基准数据集上进行了实验和分析，包括Panoptic、Shelf和Campus，证明了该方法的有效性，与完全监督方法相当。论文提供了开源代码，值得进一步研究的是自适应监督注意机制的效果。

在这个领域中，最近的相关研究包括：Self-Supervised MultiView 3D Mesh Reconstruction and Keypoint Detection、Self-Supervised Learning of 3D Human Pose and Shape from Natural Image Sequences、Self-Supervised Learning for Multi-View 3D Reconstruction with Uncalibrated Cameras等。