在ECCV 2022中，北京航空航天大学、香港大学、商汤科技与上海人工智能实验室共同提出的研究工作PoseTrans被接收。本文作者观察到，现有的数据集普遍存在人体姿态分布不均衡的长尾分布问题，某些少见的姿态类别仅含有少量样本且难以准确识别。基于这个观察，本文提出了一种简单的针对人体姿态估计的数据增强方法，其包含一个姿态聚类模块和姿态转换模块：姿态聚类模块将训练数据集中的人体姿态进行归一化并聚类；姿态转换模块可基于现有的训练样本，生成具有多样姿态的增强样本。PoseTrans结合了上述两模块，为罕见的姿态类生成更多的增强样本，从而提高姿态估计在难例上的泛化性。在多个通用数据集的实验都证明了PoseTrans的有效性。

论文名称：PoseTrans: A Simple Yet Effective Pose Transformation Augmentation for Human Pose Estimation

 Part 1 问题和挑战

人体的姿态估计是计算机视觉以及智能视频监控领域的重要问题，其是指从一张含有人体的图像中对人体骨架上的关键点进行检测以及建模，从而得到人体的姿态。然而进行人体关键点的检测与建模是复杂的，因为人体的肢体有很大的自由度，导致人体会呈现各种姿态和形状。人体任何一个部位的微小变化都会产生一种新的姿态，同时其关键点的可见性受穿着、姿态、视角等影响，使得人体姿态估计成为了具有挑战性的问题。

图1：人体姿态数据符合长尾分布

现有的深度学习方法使用监督学习，也即使用标注好的人体关键点的图片进行学习。然而，如图1所示，现有的数据集普遍存在着人体姿态分布不均衡（呈长尾分布）的问题，难以覆盖多种多样的人体姿态。同时，获得多种多样的人体姿态的图片并标注的成本也很高。这使得现有的模型在罕见姿态下的性能较差。由此，本文提出一种基于人体姿态聚类和人体姿态转换的数据增强方法。

内容中包含的图片若涉及版权问题，请及时与我们联系删除