A Multi-Stage Adaptive Feature Fusion Neural Network for Multimodal Gait Recognition

步态识别是一项备受关注的生物识别技术。大多数现有的步态识别算法都是单模态的，少数多模态步态识别算法只进行一次多模态融合。这些算法都不能充分利用多种模态的互补优势。本文考虑步态数据的时间和空间特征，提出了一种多阶段特征融合策略（MSFFS），在特征提取过程的不同阶段进行多模态融合。此外，我们提出了一种自适应特征融合模块（AFFM），考虑了轮廓和骨架之间的语义关联。融合过程将不同的轮廓区域与其更相关的骨架关节进行融合。由于视觉外观变化和时间经过在步态周期中同时发生，因此我们提出了一个多尺度时空特征提取器（MSSTFE），以彻底学习时空链接特征。具体而言，MSSTFE在不同的空间尺度上提取和聚合空间-时间链接信息。结合上述策略和模块，我们提出了一种多阶段自适应特征融合（MSAFF）神经网络，在三个数据集的许多实验中表现出最先进的性能。此外，MSAFF配备了特征维度池化（FD池化），可以显著降低步态表示的维度而不影响准确性。

多模态步态识别算法存在的问题是无法充分利用多个模态之间的互补优势，本文旨在提出一种多阶段特征融合策略(MSFFS)和自适应特征融合模块(AFFM)，以充分利用多个模态之间的互补优势。

本文提出了一种多阶段自适应特征融合(MSAFF)神经网络，该网络结合了MSFFS和AFFM，并使用特征维度池化(FD Pooling)来降低步态表示的维度，从而提高步态识别的准确性。

本文的亮点有：1.提出了一种多阶段特征融合策略(MSFFS)和自适应特征融合模块(AFFM)。2.提出了一种多阶段自适应特征融合(MSAFF)神经网络，并使用特征维度池化(FD Pooling)来降低步态表示的维度。3.在三个数据集上进行的实验表明，MSAFF具有最先进的性能。4.开源代码可在GitHub上找到。

最近在这个领域中，还有一些相关的研究：1.《Multimodal Gait Recognition Using Fusion of Kinect Skeleton and Silhouette Data》2.《Multimodal Gait Recognition Based on Jointly Tensor Decomposition and Deep Learning》3.《Multimodal Gait Recognition Based on the Fusion of Depth and Inertial Sensors》