MultiPhys: Multi-Person Physics-aware 3D Motion Estimation

我们介绍了一种名为MultiPhys的方法，旨在从单目视频中恢复多人运动。我们的重点在于捕捉不同程度互动下两个人之间的连贯空间关系。MultiPhys是具备物理意识的，具有抗抖动和遮挡的鲁棒性，并有效地消除了两个人之间的穿透问题。我们设计了一个流程，其中由基于运动学的方法估计的运动以自回归的方式输入到物理模拟器中。我们引入了不同的组件，使我们的模型能够利用模拟器的属性，同时不影响运动学估计的准确性。这导致最终的运动估计既具有运动学连贯性，又符合物理规律。在三个具有大量人际互动特征的具有挑战性的数据集上进行了广泛的评估，结果表明我们的方法显著减少了与穿透和脚滑动相关的错误，同时在运动准确性和平滑度方面表现与最先进的方法相当。结果和代码可以在我们的项目页面上找到（http://www.iri.upc.edu/people/nugrinovic/multiphys/）。

该论文旨在解决从单目视频中恢复多人运动的问题，特别是捕捉不同程度接触的两个人之间的一致空间放置。

该论文提出了一种基于物理的方法，通过将基于运动学的方法估计的运动以自回归的方式输入到物理模拟器中来实现。

该方法具有物理感知性，对抖动和遮挡具有鲁棒性，并有效消除两个人之间的穿透问题。实验结果表明，该方法在减少穿透和脚滑误差方面显著优于现有方法，并且在运动准确性和平滑性方面表现出色。

最近在该领域中的相关研究包括：《Monocular 3D Human Pose Estimation In The Wild Using Improved CNN Supervision》、《3D Human Pose Estimation with Siamese Equivariant Embedding》等。