Automatic infant 2D pose estimation from videos: comparing seven deep neural network methods

自动无标记估计婴儿姿势和运动能够极大地促进“野外”运动研究，有助于理解运动发育，并大大增加早期诊断障碍的机会。由于深度学习和机器学习的进步，计算机视觉中的人体姿势估计方法正在快速发展。然而，这些方法是在不同情境下的成人数据集上进行训练的。本文测试和比较了七种流行方法（AlphaPose、DeepLabCut/DeeperCut、Detectron2、HRNet、MediaPipe/BlazePose、OpenPose和ViTPose），并将其应用于婴儿仰卧位视频。令人惊讶的是，除了DeepLabCut和MediaPipe之外，所有方法都在不需要额外微调的情况下具有竞争性能，其中ViTPose表现最佳。除了标准的性能指标（对象关键点相似度、平均精度和召回率）外，我们还引入了用颈中臀比表达的误差，并进一步研究了漏检和冗余检测以及不同方法的内部置信度评级的可靠性，这些对于下游任务是相关的。在具有竞争性能的网络中，只有AlphaPose能够在我们的机器上接近实时（27 fps）运行。我们提供了所有使用的方法的文档化Docker容器或说明、分析脚本和处理后的数据，网址为https://hub.docker.com/u/humanoidsctu和https://osf.io/x465b/。

本文旨在测试和比较七种流行的人体姿态估计方法在婴儿仰卧位视频中的表现，以解决在婴儿运动研究中自动无标记估计姿势和运动的问题。

本文测试了AlphaPose、DeepLabCut/DeeperCut、Detectron2、HRNet、MediaPipe/BlazePose、OpenPose和ViTPose七种方法，并发现除DeepLabCut和MediaPipe外，其他方法都有竞争力的表现，其中ViTPose表现最佳。此外，本文还提出了新的指标，如颈中臀比的误差，并研究了不同方法的可靠性。

本文提供了所有使用的方法的Docker容器或说明、分析脚本和处理后的数据，并介绍了实验设计和使用的数据集。本文的亮点包括提出了新的指标、研究了不同方法的可靠性和速度，并测试了七种流行的人体姿态估计方法在婴儿仰卧位视频中的表现。

与本文相关的研究包括人体姿态估计和婴儿运动研究的其他工作。例如，关于人体姿态估计的其他工作包括“Real-time 2D Multi-Person Pose Estimation on CPU: Lightweight OpenPose”和“HRNet: High-Resolution Representations for Labeling Pixels and Regions”。关于婴儿运动研究的其他工作包括“Development of a video-based method for assessing motor function in young infants”和“Automated measurement of the general movements in preterm infants”。