【论文标题】Human Action Recognition from Various Data Modalities: A Review 【作者团队】Zehua Sun，Jun Liu，Qiuhong Ke，Hossein Rahmani 【发表时间】2020/12/12 【论文链接】https://arxiv.org/pdf/2012.11866.pdf

【推荐理由】 本文来自新加坡科技与设计大学与墨尔本大学，首次针对各种各样的数据模态下的 HAR 方法进行了回顾，从基于多模态融合和基于跨模态协同学习这两个方面详细分析了现有的 HAR 方法，并提出了一些未来潜在的重要研究方向。

人体动作识别（HAR）旨在理解人类的行为并为其分配类别标签，在计算机视觉领域有着广泛的应用，受到了越来越多的关注。一般而言，人类行为可以使用各种数据模态进行表征（例如，RGB、骨架、深度、红外序列、点云、事件流、音频、加速度、雷达、WiFi 等），这些数据形式对不同来源的有用的差异化信息进行了编码，具有多种优势和应用场景。因此，许多现有的工作试图研究使用各种模态数据的 HAR 的不同类型的方法。

在本文中，作者从输入数据模态的角度对 HAR 问题进行了全面的综述。具体而言，作者回顾了针对单一数据模态的手动构建的基于特征的方法和基于深度学习的方法；还回顾了基于多模态的方法，包括基于融合的框架和基于协同学习的方法。本文还介绍了现有的 HAR 基准数据集。最后，作者讨论了该领域未来潜在的重要研究方向。

图 1：各种数据模态下的人类动作识别

本文的贡献如下： （1）本文是首篇从各种各样的数据模态的视角全面回顾 HAR 方法的论文。 （2）本文是首篇全面讨论基于多模态的 HAR 方法，并且将其分为基于多模态融合方法和基于跨模态协同学习的方法的论文。 （3）本文讨论了基于手动设计特征以及深度学习方法的 HAR。 （4）本文对现有方法进行了充分的对比，进行了简要的总结与讨论。

内容中包含的图片若涉及版权问题，请及时与我们联系删除