Automatic infant 2D pose estimation from videos: comparing seven deep neural network methods

自动无标记估计婴儿姿势和运动的能力具有巨大的潜力，可以在“野外”进行运动研究，促进对运动发育的理解，并大大增加早期诊断疾病的机会。由于深度学习和机器学习的进步，计算机视觉中的人体姿势估计方法正在快速发展。然而，这些方法是在不同情境下成年人的数据集上进行训练的。本文测试并比较了七种流行的方法（AlphaPose、DeepLabCut/DeeperCut、Detectron2、HRNet、MediaPipe/BlazePose、OpenPose和ViTPose）在仰卧位婴儿视频上的表现。令人惊讶的是，除了DeepLabCut和MediaPipe之外，所有方法在没有额外微调的情况下都具有竞争性的性能，其中ViTPose表现最佳。除了标准的性能指标（物体关键点相似度、平均精度和召回率），我们还引入了用颈中臀比表达的误差，并进一步研究了漏检和冗余检测以及不同方法的内部置信度评级的可靠性，这些对于下游任务是相关的。在具有竞争性表现的网络中，只有AlphaPose可以在我们的机器上接近实时（27 fps）运行。我们提供了所有使用的方法的文档化Docker容器或说明，我们的分析脚本和处理后的数据位于https://hub.docker.com/u/humanoidsctu和https://osf.io/x465b/。

本文旨在测试和比较七种流行的人体姿态估计方法在婴儿仰卧位视频中的表现，以促进对运动发育的理解和早期诊断。

本文测试了七种方法在婴儿仰卧位视频中的表现，并发现除了DeepLabCut和MediaPipe外，其他方法都具有竞争性能，其中ViTPose表现最佳。此外，本文引入了新的误差度量方式，并研究了漏检和冗余检测以及不同方法的内部置信度评分的可靠性。

本文提供了所有使用的方法的Docker容器或说明、分析脚本和处理后的数据，并介绍了标准性能指标和新的误差度量方式。在具有竞争性能的网络中，只有AlphaPose可以在我们的机器上接近实时运行（27 fps）。

最近的相关研究包括使用深度学习和机器学习进行人体姿态估计的方法的发展，以及在不同环境下对成年人进行训练的数据集。