On Denoising Walking Videos for Gait Recognition

捕捉个体步态特征，同时排除行走视频中与身份无关的干扰因素（如衣物纹理和颜色），仍然是基于视觉的步态识别领域中的一个持续挑战。传统的轮廓和姿态为基础的方法，尽管理论上能够有效去除这些干扰，但由于输入数据较为稀疏且信息量不足，往往难以达到高精度。新兴的端到端方法通过直接利用人体先验对RGB视频进行去噪来解决这一问题。沿着这一趋势，我们提出了DenoisingGait，一种全新的步态去噪方法。受“我无法创造的东西，我就无法理解”这一哲学思想的启发，我们转向生成扩散模型，探索它们如何部分过滤掉与步态理解无关的因素。此外，我们引入了一种几何驱动的特征匹配模块，结合通过人体轮廓去除背景的技术，将每个前景像素的多通道扩散特征压缩为一个两通道的方向向量。具体而言，所提出的帧内和跨帧匹配分别捕捉步态外观和运动的局部向量化结构，生成一种新型的流式步态表示——步态特征场（Gait Feature Field），从而进一步减少扩散特征中的残余噪声。在CCPG、CASIA-B*和SUSTech1K数据集上的实验表明，DenoisingGait在大多数情况下，无论是域内还是跨域评估，均达到了新的最先进性能。代码可在https://github.com/ShiqiYu/OpenGait获取。

论文试图解决基于视觉的步态识别中去除身份无关干扰（如服装颜色和纹理）的问题。这是一个长期存在的挑战，传统方法虽然理论上有效，但在实际应用中由于输入信息稀疏而难以达到高精度。

论文提出了一种名为DenoisingGait的新方法，结合生成扩散模型和几何驱动的特征匹配模块来提取鲁棒的步态特征。其核心思路是利用扩散模型部分过滤掉与步态无关的因素，并通过两通道方向向量表示步态特征（Gait Feature Field），从而进一步减少噪声。相比现有方法，该方法更直接地处理RGB视频中的噪声问题，并引入了新颖的特征表示方式。

1. 提出了Gait Feature Field这一新的流式步态表示，能够有效降低扩散特征中的残余噪声；2. 在CCPG、CASIA-B*和SUSTech1K等多个数据集上验证了方法的有效性，并在多数情况下达到了新的SOTA性能；3. 方法同时适用于跨域和同域评估场景；4. 开源代码已发布至https://github.com/ShiqiYu/OpenGait，便于后续研究者复现和改进；5. 几何驱动的Feature Matching模块增强了对步态外观和运动结构的捕捉能力。

近年来，步态识别领域涌现了许多相关研究，包括传统的基于轮廓或姿态的方法（如Pose-based Gait Recognition）、端到端的深度学习方法（如GaitPart, GLN等）。此外，还有一些研究探索了生成模型在步态特征提取中的应用，例如GaitSet和GaitGL。值得注意的相关工作包括：1. 'GaitPart: Multi-Granularity Local Features Learning for Gait Recognition'；2. 'GLN: Gait Localisation Network for Video-Based Person Identification'; 3. 'GaitSet: Going Deeper into Set-based Gait Recognition'。这些研究为DenoisingGait提供了重要参考，但本论文通过引入扩散模型和新型特征表示实现了显著改进。