人类行为识别旨在了解人类的行为，并为行为指定标签，例如，握手、吃东西、跑步等。它具有广泛的应用前景，因此在计算机视觉领域受到越来越多的关注。人类行为可以使用各种数据模态来表示，如RGB、骨架、深度、红外序列、点云、事件流、音频、加速信号、雷达和WiFi，这些数据模态在不同的场景下具有不同的优势。因此，现有的论文试图基于主流的深度学习来研究不同的数据模态的的行为识别方法。

该论文从模态的角度，对当前基于深度学习的行为识别方法进行了全面的综述。具体来说，

（1）该论文回顾了基于单模态的行为识别方法，这些模态包括RGB、骨架、深度、红外序列、点云、事件流、音频、加速信号、雷达和WiFi。

（2）该论文回顾了基于多模态的行为识别方法，并将其分为多模态融合和跨模态协同学习两种类型。

（3）该论文回顾了最新和最先进的深度学习方法，包括CNN、RNN、GCN和Transformer，并在几个基准数据集上对现有方法及其性能进行了全面比较。

论文链接：

https://arxiv.org/abs/2012.11866

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除