SMART: Scene-motion-aware human action recognition framework for mental disorder group

患有精神障碍的患者常常表现出危险的异常行为，例如攀爬墙壁或敲打窗户，这就需要智能视频行为监测和物联网技术的智能医疗。然而，基于视觉的人体动作识别（HAR）在这些行为方面的发展受到了缺乏专业算法和数据集的阻碍。本文创新性地提出了构建一个基于视觉的HAR数据集，其中包括精神障碍组中经常发生的异常行为，然后介绍了一种名为SMART的新型场景-动作感知行为识别技术框架，由两个技术模块组成。首先，我们提出了一个场景感知模块，用于提取人体运动轨迹和人-场景交互特征，为上述行为提供补充语义表示的附加场景信息。其次，多阶段融合模块融合了骨架运动、运动轨迹和人-场景交互特征，增强了骨架运动与上述补充表示之间的语义关联，从而生成了一个具有人体运动和场景信息的综合表示。我们的方法在我们自己收集的HAR数据集（MentalHAD）上进行了验证，实现了94.9％和93.1％的准确率，并分别比现有技术方法高出6.5％和13.2％。所展示的主题和场景普适性，使SMART在医疗环境中为精神障碍患者的智能医疗系统的实际部署成为可能。代码和数据集将公开发布供进一步研究使用：https://github.com/Inowlzy/SMART.git。

本论文旨在解决智能医疗中针对精神障碍患者的行为监测问题，通过构建一个包括异常动作的视觉人体动作识别数据集，并提出了一种新的场景-动作感知行为识别技术框架SMART。

该论文提出了一种新的场景-动作感知行为识别技术框架SMART，包括场景感知模块和多阶段融合模块，通过融合骨架运动、运动轨迹和人-场景交互特征，实现了综合的人体运动和场景信息表示。

该论文在自己收集的HAR数据集上验证了SMART方法的有效性，并取得了94.9%和93.1%的准确率，在未见过的主体和场景上表现出良好的泛化性能。该论文的代码和数据集已公开发布。

在这个领域中，还有一些相关的研究，例如《A survey on human motion analysis from depth data》、《Human action recognition using a temporal hierarchy of covariance descriptors on 3D joint locations》等。