A Survey on Multimodal Wearable Sensor-based Human Action Recognition

随着寿命的延长和出生率的下降，人口老龄化现象日益严重。基于可穿戴传感器的人体活动识别技术成为支持老年人日常生活的有前途的辅助技术，为以人为中心的应用程序开启了广阔的潜力。然而，最近在WSHAR领域的调查受到限制，要么仅关注于深度学习方法，要么仅关注于单一传感器模态。在现实生活中，我们以多感官的方式与世界互动，各种信息源被复杂地处理和解释，以完成一个复杂而统一的感知系统。为了使机器具有类似的智能，多模态机器学习，即合并来自各种来源的数据，已成为近年来的研究热点。在本研究中，我们从新的角度提出了一项综合调查，介绍如何利用多模态学习来支持WSHAR领域的新手和研究人员。我们首先介绍了最近的传感器模态以及HAR中的深度学习方法。随后，我们探讨了目前在WSHAR中使用的多模态系统中使用的技术。这包括利用来自视觉和非视觉系统的传感器模态的跨模态系统和仅从非视觉系统中获取模态的内部模态系统。之后，我们重点关注目前应用于解决WSHAR中存在的一些挑战的多模态学习方法。具体而言，我们通过将其他领域的现有多模态文献，如计算机视觉和自然语言处理，与当前的WSHAR领域相连接，做出了额外的努力。最后，我们确定了当前WSHAR领域的相应挑战和潜在研究方向，以进一步改进。

研究如何利用多模态学习来支持老年人的日常生活，解决老龄化人口带来的挑战。

通过多模态学习，将来自不同传感器的数据进行整合，提高对老年人日常活动的识别准确性，实现更好的人机交互。

论文从深度学习、传感器模态、多模态系统、多模态学习等多个角度全面综述了WSHAR领域的研究现状和挑战，并将其他领域的多模态学习研究成果与WSHAR领域相结合，提出未来的研究方向。

近期相关研究包括《Deep Convolutional Neural Networks for Human Activity Recognition with Smartphone Sensors》、《A Survey of Human Activity Recognition Using Wearable Sensors》等。