AvatarPose: Avatar-guided 3D Pose Estimation of Close Human Interaction from Sparse Multi-view Videos

尽管人类运动捕捉技术取得了进展，但现有的多视角方法在估计多个密切互动的人的三维姿态和形状时常常面临困难。这种困难是由于依赖于准确的二维关节估计，而当人们密切互动时，由于遮挡和身体接触很难获得准确的二维关节估计。为了解决这个问题，我们提出了一种新方法，利用每个个体的个性化隐式神经化身作为先验，显著提高了这个具有挑战性的姿态估计任务的鲁棒性和精度。具体而言，通过稀疏的多视角视频进行分层体积渲染，高效地重建了化身。重建的化身先验允许基于颜色和轮廓渲染损失直接优化三维姿态，从而避免了与嘈杂的二维检测相关的问题。为了处理穿透，我们提出了一个碰撞损失，用于在化身的重叠形状区域添加穿透约束。此外，三维姿态和化身都是交替优化的。我们的实验结果表明，在几个公共数据集上，我们的方法表现出最先进的性能。

解决问题：论文试图解决多人互动场景下，基于2D关节估计的3D姿态和形状估计困难的问题。

关键思路：论文提出了一种新的方法，通过个性化的隐式神经化身作为先验，显著提高了多人互动场景下的3D姿态和形状估计的鲁棒性和精度。通过稀疏的多视角视频进行分层体积渲染，重建了每个人的神经化身先验，通过颜色和轮廓渲染损失直接优化3D姿态，避免了噪声2D检测带来的问题。同时，通过碰撞损失对化身的重叠区域进行约束，以处理穿透问题。

其他亮点：论文在多个公共数据集上进行了实验，结果表明该方法在多人互动场景下的3D姿态和形状估计方面取得了最先进的性能。此外，该论文提出的方法还可以用于虚拟现实、游戏等领域。论文提供了开源代码。

相关研究：最近的相关研究包括：'Monocular Total Capture: Posing Face, Body, and Hands in the Wild'，'VIBE: Video Inference for Human Body Pose and Shape Estimation'等。