Multi-hop graph transformer network for 3D human pose estimation

Journal of Visual Communication and Image Representation, 2024
2024年05月05日
  • 简介
    本文介绍了一种多跳图变换网络,旨在通过利用多头自注意力和多跳图卷积网络的优势来捕捉时空依赖关系和处理长距离交互,从而实现视频中二维到三维人体姿态估计。所提出的网络架构由图注意块和多跳图卷积块组成。其中,图注意块由多层堆叠的多头自注意力和可学习邻接矩阵的图卷积组成;多跳图卷积块由多跳卷积和扩张卷积层组成。多头自注意力和多跳图卷积层的组合使得模型能够捕捉局部和全局依赖关系,而扩张卷积层的整合增强了模型处理人体关节准确定位所需的空间细节的能力。广泛的实验表明,我们的模型具有很好的有效性和泛化能力,在基准数据集上取得了竞争性的性能。
  • 图表
  • 解决问题
    多视角人体姿态估计是一个具有挑战性的任务,本文旨在通过多跳图变换器网络解决2D到3D人体姿态估计中的深度模糊和遮挡问题。
  • 关键思路
    本文提出了一种多跳图变换器网络,通过多头自注意力和多跳图卷积网络捕捉时空依赖性和处理长程交互,以实现2D到3D人体姿态估计。
  • 其它亮点
    本文的亮点包括:使用了多头自注意力和多跳图卷积层来捕捉局部和全局依赖关系;使用扩张卷积层增强模型处理空间细节的能力;在基准数据集上获得了有竞争力的性能;
  • 相关研究
    最近在这个领域中的相关研究包括:《3D人体姿态估计:一种深度学习方法》、《3D人体姿态估计的一种新方法》等。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论