论文标题：A Two-stream Neural Network for Pose-based Hand Gesture Recognition 论文链接：https://arxiv.org/abs/2101.08926 作者单位：中北大学, 山东大学, 电子科大, 卧龙岗大学 表现SOTA！性能优于PB-GRU-RNN、HG-GCN等网络。

近年来，基于姿态的手势识别已被广泛研究。与全身动作识别相比，手势所涉及的关节在空间上分布得更紧密，协作更紧密。这种性质需要从动作识别到捕获复杂空间特征的不同方法。许多手势类别（例如“ Grab”和“ Pinch”）具有非常相似的运动或时间模式，这对时间处理构成了挑战。为了解决这些挑战，本文提出了一种Two-stream神经网络，其中一种流是基于自注意力的图卷积网络（SAGCN），用于提取short-term时间信息和分层空间信息，另一种是增强的残差连接双向独立递归神经网络（RBi-IndRNN），用于提取long-term时间信息。基于自我注意的图卷积网络具有动态的自我注意机制，除了GCN中的固定拓扑和局部特征提取以外，还可以自适应地利用所有手部关节的关系。另一方面，残差连接增强型Bi-IndRNN扩展了IndRNN，并具有双向建模的时间建模能力。将两个流融合在一起以进行识别。使用“动态手势”数据集和“第一人称手势”数据集来验证其有效性，并且我们的方法获得了最新的性能。

内容中包含的图片若涉及版权问题，请及时与我们联系删除