Flow-Assisted Motion Learning Network for Weakly-Supervised Group Activity Recognition

弱监督群体活动识别（WSGAR）旨在通过视频级别标签和没有演员级别标签来理解一组人一起执行的活动。我们提出了流辅助运动学习网络（Flaming-Net）用于WSGAR，它由运动感知演员编码器和双通道关系模块组成，用于推断演员之间的互动和他们的活动。Flaming-Net在训练阶段利用额外的光流模态来增强其运动感知能力，以便在查找本地活跃演员时使用。关系模块的第一条路径，即演员中心路径，最初捕获个体演员的时间动态，然后构建演员之间的相互关系。同时，群体中心路径开始通过建立同一时间框架内演员之间的空间连接，然后捕获它们之间的同时空时动态。我们证明Flaming-Net在两个基准测试中取得了新的WSGAR最佳结果，包括在NBA数据集上高出2.8％的MPCA分数。重要的是，我们仅在训练时使用光流模态，而不用于推断。

论文旨在解决无需演员级标签，仅依靠视频级标签识别群体活动的问题。

Flaming-Net是一种流辅助动作学习网络，利用光流模态增强其对运动的感知，并通过两个路径的关系模块推断演员之间的交互和活动。

论文在两个基准测试中展示了Flaming-Net的新的最先进的WSGAR结果，包括在NBA数据集上高达2.8％的MPCA分数提高。同时，Flaming-Net仅在训练阶段使用光流模态而不用于推理。

最近的相关研究包括《Weakly Supervised Group Activity Recognition using Group-level Attention》和《Group Activity Recognition and Retrieval with Multi-Context Embedding》。