RTMW: Real-Time Multi-Person 2D and 3D Whole-body Pose Estimation

全身姿势估计是一项具有挑战性的任务，需要同时预测身体、手、脸和脚的关键点。全身姿势估计旨在预测人体的细节姿势信息，包括脸部、躯干、手和脚，这在人类中心感知和生成以及各种应用中发挥着重要作用。在这项工作中，我们提出了RTMW（实时多人全身姿势估计模型），这是一系列高性能的2D/3D全身姿势估计模型。我们将RTMPose模型架构与FPN和HEM（分层编码模块）相结合，以更好地捕捉来自不同身体部位的不同尺度的姿势信息。该模型使用一组丰富的开源人体关键点数据集进行训练，并通过两个阶段的蒸馏策略进一步增强。RTMW在多个全身姿势估计基准测试中表现出强大的性能，同时保持高推理效率和部署友好性。我们发布了三种大小：m/l/x，其中RTMW-l在COCO-Wholebody基准测试中实现了70.2 mAP，成为首个在该基准测试中超过70 mAP的开源模型。同时，我们探索了RTMW在3D全身姿势估计任务中的性能，以分类坐标的方式进行基于图像的单目3D全身姿势估计。我们希望这项工作能够惠及学术研究和工业应用。代码和模型已经公开发布在：https://github.com/open-mmlab/mmpose/tree/main/projects/rtmpose。

解决问题：论文旨在解决全身姿势估计的挑战性任务，包括身体、手、脸和脚的关键点预测。同时，论文还试图提高全身姿势估计的准确性和效率。

关键思路：论文提出了RTMW（实时多人全身姿势估计模型）系列模型，通过将RTMPose模型架构与FPN和HEM相结合，更好地捕捉来自不同身体部位和不同尺度的姿势信息。模型是使用一系列开源人体关键点数据集进行训练的，并通过两阶段蒸馏策略进行进一步增强。

其他亮点：RTMW在多个全身姿势估计基准测试中表现出强大的性能，同时保持高推理效率和部署友好性。论文开源了代码和模型，并提供了三种不同大小的模型供使用。此外，论文还探讨了RTMW在3D全身姿势估计任务中的性能，通过图像分类的方式进行单目3D全身姿势估计。

相关研究：最近的相关研究包括OpenPose、HRNet和DensePose等。