Fusion and Cross-Modal Transfer for Zero-Shot Human Action Recognition

尽管生活在一个多感官的世界中，大多数人工智能模型仅限于对人类运动和行为的文本和视觉解释。惯性测量单元（IMU）提供了理解人类运动的显著信号；然而，由于IMU数据的不可解释性和稀缺性，它们很难使用。我们研究了一种方法，利用设计用于人类动作识别（HAR）的信息联合表示空间的结构，在视觉和惯性模态之间转移知识。我们将所得到的融合和跨模态转移（FACT）方法应用于一种新的设置，在训练期间模型无法访问标记的IMU数据，并且能够在测试期间仅使用IMU数据执行HAR。对各种RGB-IMU数据集的广泛实验表明，FACT在零样本跨模态转移中明显优于现有方法。

本论文旨在解决AI模型在理解人类运动和行为方面受到文本和视觉限制的问题，并提出了一种基于信息联合表示空间的Fusion and Cross-modal Transfer (FACT)方法来实现视觉和惯性测量单元（IMU）之间的知识转移。

FACT方法是通过联合表示空间来实现视觉和IMU数据之间的转换，使模型能够在没有标记的IMU数据的情况下进行人体动作识别，并且在零样本交叉模态转移方面显著优于现有方法。

论文的实验结果表明，FACT方法在多个RGB-IMU数据集上都有显著的性能提升，且无需在训练期间使用标记的IMU数据。该方法的开源代码也已经公开。值得进一步研究的是如何将该方法应用于其他领域，以及如何进一步提高其性能。

与本论文相关的研究包括使用深度学习方法进行人体动作识别的相关研究，以及使用IMU数据进行人体运动分析的相关研究。其中一些论文包括：“Deep Learning for Human Activity Recognition: A Resource Guide”，“A review of inertial sensor technology in biomechanics and motor control”，“Cross-modal action recognition with depth cameras and wearable sensors”。