MK-SGN: A Spiking Graph Convolutional Network with Multimodal Fusion and Knowledge Distillation for Skeleton-based Action Recognition

近年来，基于骨架的动作识别利用多模态图卷积网络（GCN）取得了显著的成果。然而，由于它们深层结构和对连续浮点运算的依赖，基于GCN的方法具有高能耗的特点。为了解决这个问题，我们提出了一种创新的多模态脉冲图卷积网络（MK-SGN），它融合了脉冲神经网络（SNN）的能量效率和GCN的图形表示能力，从而降低了能耗，同时保持了识别准确性。首先，我们将GCN转换为脉冲图卷积网络（SGN），并构建了一个基础的基础SGN用于基于骨架的动作识别，建立了一个新的基准，并为未来的研究探索铺平了道路。其次，我们进一步提出了一个脉冲多模态融合模块（SMF），利用互信息更有效地处理多模态数据。此外，我们引入了脉冲注意机制，并设计了一个带有空间全局脉冲注意机制（SA-SGC）的空间图卷积模块，增强了特征学习能力。此外，我们深入研究了从多模态GCN到SGN的知识蒸馏方法，并提出了一种新的综合方法，同时关注中间层蒸馏和软标签蒸馏，以提高SGN的性能。在两个具有挑战性的基于骨架的动作识别数据集上，MK-SGN优于最先进的类GCN框架，降低了计算负载和能耗。相比之下，典型的GCN方法通常每个动作样本消耗超过35mJ，而MK-SGN将能耗降低了超过98%。

该论文旨在通过提出一种新的Spiking Graph Convolutional Network with Multimodal Fusion and Knowledge Distillation (MK-SGN)方法，解决GCN方法在能源消耗方面的问题，同时保持识别准确性。

该论文提出了一种融合Spiking Neural Network (SNN)和GCN的MK-SGN方法，通过将GCN转换为SGN，并引入Spiking Multimodal Fusion module (SMF)和Spatio Graph Convolution module with a Spatial Global Spiking Attention mechanism (SA-SGC)等模块，从而减少计算负荷和能源消耗，同时提高特征学习能力。此外，论文还提出了一种新的知识蒸馏方法，同时关注中间层蒸馏和软标签蒸馏，以提高SGN的性能。

该论文在两个具有挑战性的骨架动作识别数据集上进行了实验，证明了MK-SGN方法在减少计算负荷和能源消耗方面优于目前最先进的GCN方法。此外，论文还开源了代码。

最近的相关研究包括： 1. 'Skeleton-based Action Recognition with Spatial Reasoning and Temporal Stack Learning' 2. 'Spatial-Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition'