【中科院&国防科大等联合团队】基于位置感知的自监督3D骨架行人重识别步态编码方法 【论文标题】：A Self-Supervised Gait Encoding Approach with Locality-Awareness for 3D Skeleton Based Person Re-Identification 【作者团队】：Haocong Rao, Siqi Wang, Xiping Hu, Mingkui Tan, Yi Guo, Jun Cheng, Bin Hu, and Xinwang Liu 【发表时间】：2020/09/05 【论文链接】：https://arxiv.org/abs/2009.03671v1 【代码链接】：https://github.com/Kali-Hac/Locality-Awareness-SGE.

【推荐理由】 通过3D骨架序列中的步态特征进行行人员重新识别（Re-ID）是一个新兴的研究领域，在文中提出了一种具有局部注意力通用自监督方法，以有效地学习行人重识别步态表示。通过学习反向骨架序列重构引入自我监督方法，使得该模型能够使用未标记的骨架数据来学习高级语义和判别步态特征。同时，为了方便骨架重建和步态表示学习，提出了一种新颖的局部感知注意机制和局部感知对比学习方案，将序列内和序列间局部性纳入步态编码过程。最后，使用学习的上下文向量构造行人重识别的最终步态表示（CAGE）。该方法大大优于现有的基于骨架的Re-ID方法，比基于骨骼的同类方法Rank-1精度提升15-40％，甚至比具有额外RGB或深度信息的多模态方法更优。

图 1：模型的流程图。（1）步态编码器（黄色）（2）基于注意机制的局部感知（绿色）（3）步态解码器（紫色）（4）局部感知的对比学习（红色）（5）行人重识别识别网络（蓝色）。

本文的主要贡献如下： （1）首次提出了基于3D骨骼的行人重识别步态编码的自监督学习范式。通过学习反向顺序骨骼重建，从未标记的3D骨骼序列中产生更有效的步态表示。 （2）设计了一种局部感知的注意力机制，以利用一个骨架序列的骨架内的序列内局部性，使得在自监督学习时能更好地进行骨架重构和步态编码。 （3）首次提出局部感知的对比学习方法，保留时间相邻的3D骨架序列之间的序列间局部性，能够在序列级别上更好地进行步态编码。 （4） 基于提出的局部感知注意机制和局部感知对比学习，本文从学习的模型中设计了一种新颖的方法来构造步态表示，称为基于对比注意的步态编码（CAGE）。 CAGEs被证明对行人重识别非常有效。 （5）探索了自监督学习范式的其他可能形式的前置任务，可进一步加强步态编码的有效性。

内容中包含的图片若涉及版权问题，请及时与我们联系删除