论文地址：https://arxiv.org/pdf/2203.03972.pdf

开源地址：https://github.com/shiqiyu/opengait

摘要

步态是最有前途的远距离识别个体的生物特征之一。虽然以往的步态特征提取方法主要集中在轮廓的识别上，但有几种直接从RGB图像中提取步态特征的端到端方法表现得更好。然而，我们证明了这些端到端的方法不可避免地会受到与步态无关的噪声的影响，即低级纹理和彩色信息。实验上，我们设计了跨域评估来支持这一观点。本文提出了一种新的端到端框架GaitEdge，该框架能够有效地屏蔽步态无关信息，释放端到端的训练潜力。具体来说，GaitEdge合成行人分割网络的输出，然后将其馈送给后续的识别网络，其中合成的轮廓由可训练的身体边缘和固定的内部组成，以限制识别网络接收的信息。此外，用于对齐轮廓的GaitAlign嵌入到GaitEdge中，而不损失可微性。在CASIA-B和我们新建的TTG-200上的实验结果表明，GaitEdge的性能明显优于以前的方法，提供了一个更实用的端到端范例。

主要贡献

综上所述，我们做出了以下三个主要贡献：（1）我们指出了步态无关噪声被混合到最终步态表示中的问题，并引入了跨域测试来验证RGB信息噪声的泄漏。此外，由于缺乏一个提供RGB视频的步态数据集，我们收集了一万个步态(TTG-200)，其大小约等于流行的CASIA-B[26]。（2）我们提出了一个简洁而引人注目的端到端步态识别框架GaitEdge。在CASIA-B和TTG-200上的实验表明，GaitEdge达到了一个新的最先进的性能，我们宣布，GaitEdge可以有效地防止无关的RGBinformed噪声。（3）我们提出了一个基于轮廓的端到端步态识别模块GaitAlign，它可以看作是尺寸归一化的可微版本[9]。

实验

训练数据采样器和批量大小与步态识别网络相似。我们联合微调分割和识别网络，联合损失LJOIN=λLSEG+Lrec，其中Lrec表示识别网络的损失。λ表示分割网络的损失权重，设置为10。此外，为了使联合训练过程收敛得更快，我们使用训练好的分割和识别网络参数初始化端到端模型，并相应地将它们的初始学习速率分别设置为10-5和10-4。此外，我们固定了分割网络的前半部分，即U-网，以保持分割结果的人形。我们共同训练端到端网络总共20,000次迭代，并在第10,000次迭代时将学习率降低1/10。

内容中包含的图片若涉及版权问题，请及时与我们联系删除