Pose-Diversified Augmentation with Diffusion Model for Person Re-Identification

人物重识别（Re-ID）经常面临由于人类姿态和摄像机视角的变化而带来的挑战，这显著影响了图像中个人的外观。现有的数据集在这些方面缺乏多样性和可扩展性，阻碍了 Re-ID 模型推广到新的摄像机系统。以往的方法尝试通过数据增强来解决这些问题，但它们依赖于已经存在于训练数据集中的人类姿态，无法有效地减少数据集中的人类姿态偏差。我们提出了 Diff-ID，一种新颖的数据增强方法，将稀疏和未被充分代表的人类姿态和摄像机视角示例纳入训练数据，解决了原始训练数据分布中的有限多样性问题。我们的目标是增强训练数据集，使现有的 Re-ID 模型能够学习不受人类姿态和摄像机视角变化影响的特征。为了实现这一目标，我们利用预先训练的大规模扩散模型的知识。使用 SMPL 模型，我们同时捕捉所需的人类姿态和摄像机视角，实现逼真的人类渲染。SMPL 模型提供的深度信息间接传达了摄像机视角。通过通过 SMPL 模型同时对扩散模型进行人类姿态和摄像机视角的条件约束，我们生成具有多样化人类姿态和摄像机视角的逼真图像。定性结果证明了我们的方法在解决人类姿态偏差和增强 Re-ID 模型的推广能力方面的有效性，相比其他基于数据增强的 Re-ID 方法。通过在离线增强数据集上训练 Re-ID 模型获得的性能提升，突显了我们提出的框架在提高人物 Re-ID 模型的可扩展性和推广能力方面的潜力。

本文旨在解决人物重新识别中存在的人体姿势和摄像机视角变化引起的问题，以及现有数据集缺乏多样性和可扩展性的问题。文章提出了一种新的数据增强方法，旨在让重新识别模型学习到不受人体姿势和摄像机视角变化影响的特征。

文章提出了一种名为Diff-ID的数据增强方法，该方法通过将稀疏和未被代表的人体姿势和摄像机视角示例纳入训练数据，解决了原始训练数据分布中的多样性不足的问题。作者使用预训练的大规模扩散模型，同时利用SMPL模型捕捉所需的人体姿势和摄像机视角，从而生成具有多样性的逼真图像。通过将扩散模型同时条件化于人体姿势和摄像机视角，作者生成了具有多样性的逼真图像，从而增强了重新识别模型的泛化能力。

文章的实验结果表明，Diff-ID方法相比于其他基于数据增强的重新识别方法，在解决人体姿势偏差和提高重新识别模型泛化能力方面具有显著的效果。此外，作者还提供了大量实验细节和开源代码，为进一步研究提供了便利。

近期的相关研究包括：'Learning to Re-Identify People in Videos with a Single Query'，'Unsupervised Person Re-Identification by Deep Learning Tracklet Association'，'Person Re-Identification with Cascaded Pairwise Convolutions'等。