CM2-Net: Continual Cross-Modal Mapping Network for Driver Action Recognition

司机行为识别通过集成多种模态（如红外线和深度）显著提高了司机-车辆交互和确保驾驶安全。然而，与仅使用RGB模态相比，收集所有类型的非RGB模态的大量数据总是费时费力的。因此，先前的研究建议通过微调在RGB视频上预训练的模型来独立学习每个非RGB模态，但是由于领域差距较大，这些方法在面对新进入的模态时提取信息特征的效果较差。相反，我们提出了一种连续交叉模态映射网络（CM2-Net），通过以先前学习的模态为指导，不断学习每个新进入的模态。具体而言，我们开发了累积交叉模态映射提示（ACMP），将从先前模态学习的有区别和信息丰富的特征映射到新进入模态的特征空间中。然后，当面对新进入的模态时，这些映射特征能够为提取和优先考虑哪些特征提供有效的提示。这些提示在连续学习过程中不断积累，从而提高进一步的识别性能。在Drive＆Act数据集上进行的大量实验证明了CM2-Net在单模态和多模态司机行为识别方面的性能优越性。

如何在车内环境中进行驾驶员动作识别时，有效地利用多模态信息，同时又不需要大量收集非RGB模态数据？

提出了一种连续交叉模态映射网络（CM2-Net），通过积累交叉模态映射提示（ACMP）来不断学习新的非RGB模态信息。ACMP可以将从先前模态学习到的判别性和信息性特征映射到新模态的特征空间中，为提取和优先考虑哪些特征提供有效提示。

实验结果表明，与独立学习每个非RGB模态的方法相比，CM2-Net在新模态下具有更好的性能。论文使用了Drive&Act数据集，并开源了代码。

近期的相关研究包括：'Multimodal Driver Behavior Recognition Using 3D Convolutional Neural Networks'、'Driver Action Recognition Based on Multi-Modal Deep Learning'等。