A Survey of IMU Based Cross-Modal Transfer Learning in Human Activity Recognition

尽管生活在一个多感官的世界中，但大多数人工智能模型仅限于对人类运动和行为的文本和视觉理解。事实上，对人类运动的全面情境感知最好通过传感器的组合来理解。在这项调查中，我们研究了如何在人类活动/动作识别（HAR）的不同模态之间转移和利用知识，即跨模态迁移学习。我们阐述了IMU数据在跨模态学习中的重要性和适用性，以及研究HAR问题的重要性和潜力。我们按时间和抽象程度对HAR相关任务进行分类，然后比较各种类型的多模态HAR数据集。我们还区分和阐述了文献中许多相关但不一致使用的术语，如迁移学习，领域自适应，表示学习，传感器融合和多模态学习，并描述了跨模态学习如何与所有这些概念相吻合。然后，我们回顾了基于IMU的跨模态HAR迁移的文献。跨模态迁移的两种主要方法是基于实例的迁移，其中一种模态的实例被映射到另一种模态（例如，在输入空间中传输知识），或基于特征的迁移，其中模型将模态在中间潜在空间中相关联（例如，在特征空间中传输知识）。最后，我们讨论了跨模态HAR的未来研究方向和应用。

本文旨在探讨如何通过跨模态传递学习实现人类活动/动作识别（HAR）的知识转移和利用，解决AI模型在人类运动和行为方面的文本和视觉理解的局限性。

本文提出了基于IMU数据的跨模态传递学习方法，将一种模态的知识转移到另一种模态，分别采用基于实例和基于特征的传递方法。

本文对HAR相关任务进行了分类和比较，介绍了多个相关但不一致的术语，并阐述了跨模态学习与这些概念的关系。文中还回顾了IMU的跨模态传递学习的文献，并讨论了未来的研究方向和应用。

最近的相关研究包括《Deep Learning for Sensor-based Activity Recognition: A Survey》、《Sensor-Based Human Activity Recognition: A Review》等。