Hypergraph-based Multi-View Action Recognition using Event Cameras

动作识别是具有广泛应用的基石。单视图动作识别由于依赖于单一视角而面临限制。相反，多视图方法捕捉来自不同视角的补充信息以提高准确性。最近，事件相机作为创新的仿生传感器出现，推动了事件驱动动作识别的进步。然而，现有的研究主要集中在单视图场景上，存在多视图事件数据利用的空白，尤其是在信息缺乏和语义不对齐等挑战中。为了弥合这一差距，我们介绍了HyperMV，一种多视图事件驱动动作识别框架。HyperMV将离散事件数据转换为类似帧的表示，并使用共享卷积网络提取与视角相关的特征。通过将段作为顶点并使用基于规则和KNN的策略构建超边，建立了一个跨视角和时间特征捕捉关系的多视图超图神经网络。还引入了顶点注意超图传播以增强特征融合。为了推动这一领域的研究，我们提出了最大的多视图事件驱动动作数据集THU-MV-EACT-50，包括6个视角的50个动作，超过现有数据集的十倍以上。实验结果表明，HyperMV在跨主体和跨视图情况下显著优于基准，并且在基于帧的多视图动作识别方面超过了现有技术的水平。

解决多视角事件数据在行为识别中的限制问题，尤其是信息缺失和语义不匹配的问题。

将多视角事件数据转换为类似于帧的表示形式，并使用共享卷积网络提取视角相关特征。通过构建超边的方式，建立一个跨视角和时间特征的多视角超图神经网络，同时引入了顶点注意力超图传播以增强特征融合。

论文提出了一个新的多视角事件识别框架HyperMV，并引入了一个新的数据集THU-MV-EACT-50。实验结果表明，HyperMV在跨主体和跨视角情况下均优于基线模型，并在基于帧的多视角行为识别方面超过了现有的最先进方法。

最近的相关研究包括：'Multi-View Action Recognition Based on Cross-View Transformation and View-Dependent Feature Aggregation'，'Multi-View Action Recognition via Graph Convolutional Networks'，'Multi-View Action Recognition Using Deep Neural Networks'等。