论文标题:Deep Dual Consecutive Network for Human Pose Estimation 论文链接:https://arxiv.org/abs/2103.07254 代码链接:https://github.com/Pose-Group/DCPose 作者单位:浙江工商大学 & 南洋理工大学 & 浙江大学

表现SOTA!性能优于PoseWarper、MDPN等网络,代码刚刚开源!

在复杂情况下的多帧人体姿态估计具有挑战性。尽管最新的人体关键点检测器已经证明了静态图像的显著结果,但是当我们将这些模型应用于视频序列时,它们的性能仍然很差。普遍的缺点包括由于无法捕获视频帧之间的时间依赖性而导致无法处理运动模糊,视频散焦或姿势遮挡。另一方面,直接使用常规的递归神经网络在建模空间环境时会产生经验上的困难,尤其是在处理姿势遮挡时。在本文中,我们提出了一种新颖的多帧人体姿势估计框架,该框架利用视频帧之间的大量时间线索来促进关键点检测。在我们的框架中设计了三个模块化组件。姿势时间合并编码关键点时空上下文以生成有效的搜索范围,而姿势残差融合模块计算双向加权姿势残差。然后通过我们的姿势校正网络对这些结果进行处理,以有效地优化姿势估计。我们的方法在大型基准数据集PoseTrack2017和PoseTrack2018的多帧人物姿势估计挑战中排名第一。我们已经发布了代码,希望能激发未来的研究。

内容中包含的图片若涉及版权问题,请及时与我们联系删除