Fine-Grained Side Information Guided Dual-Prompts for Zero-Shot Skeleton Action Recognition

这段摘要介绍了基于骨架的零样本动作识别，旨在通过已知基于骨架的动作的学习先验知识和已知和未知类别共享的语义描述空间来识别未知的人类动作。然而，以往的研究侧重于在粗粒度级别上建立已知骨架表示空间和语义描述空间之间的桥梁，以识别未知的动作类别，忽视了这两个空间之间的细粒度对齐，导致在区分高相似度动作类别时表现不佳。为了解决这些挑战，作者提出了一种新的方法，通过侧面信息和双提示学习，实现了基于骨架的零样本动作识别（STAR）的细粒度级别。具体而言，作者将骨架根据其拓扑结构分解为几个部分，并引入多部分人体运动描述的侧面信息，以在细粒度级别上对骨架和语义空间进行对齐；作者设计了视觉属性和语义部分提示，以提高骨架空间内的类内紧密度和语义空间内的类间可分性，以区分高相似度的动作。广泛的实验表明，该方法在NTU RGB + D、NTU RGB + D 120和PKU-MMD数据集的ZSL和GZSL设置中实现了最先进的性能。

本论文旨在解决骨架动作识别中的零样本问题，即如何在已知骨架动作和未知骨架动作之间建立联系，从而实现对未知骨架动作的识别。

本文提出了一种基于侧信息和双提示学习的骨架零样本动作识别方法，通过将骨架分解为多个部分，引入多部分描述，从而实现骨架与语义空间之间的精细对齐。同时，通过设计视觉属性和语义部分提示，提高了骨架空间内类内紧密度和语义空间内类间可分性，从而区分高相似度的动作。

本文通过在NTU RGB+D、NTU RGB+D 120和PKU-MMD数据集上的实验，展示了该方法在零样本和通用零样本设置下的最新性能。此外，本文还提出了一种多部分骨架描述方法，可用于骨架动作识别中的其他任务。

在骨架动作识别领域，有许多相关研究。例如，基于深度学习的骨架动作表示学习，基于图卷积网络的骨架动作分类等。其中一些研究的论文标题包括：“Skeleton-Based Action Recognition with Directed Graph Neural Networks”、“Deep Learning for Human Motion Analysis: A Review”等。