Instruct-ReID++: Towards Universal Purpose Instruction-Guided Person Re-identification

人类智能可以根据视觉和语言描述来找到任何人。然而，当前的计算机视觉社区研究不同场景下的特定人物再识别（ReID）任务，这限制了在现实世界中的应用。本文提出了一种新的指导-ReID任务，要求模型根据给定的图像或语言指令检索图像，以解决这个问题。指导-ReID是对一般ReID设置的首次探索，现有的6个ReID任务可以通过分配不同的指令来视为特殊情况。为了促进这个新的指导-ReID任务的研究，我们提出了一个大规模的OmniReID++基准测试，配备了多样化的数据和全面的评估方法，例如任务特定和任务无关的评估设置。在任务特定的评估设置中，库集根据特定的ReID任务进行分类。我们提出了一个新颖的基线模型IRM，具有自适应三元组损失，以在统一框架内处理各种检索任务。对于任务无关的评估设置，即从任务无关的库集中检索目标人物图像，我们进一步提出了一种新的方法IRM++，采用新颖的记忆库辅助学习。在OmniReID++基准测试中对IRM和IRM++进行了广泛的评估，证明了我们提出的方法的优越性，在10个测试集上实现了最先进的性能。数据集、模型和代码将在https://github.com/hwz-zju/Instruct-ReID上提供。

本论文提出了一种新的Instruct-ReID任务，旨在解决人物再识别任务中不同场景下的限制和应用问题。同时，构建了一个大规模的OmniReID++基准测试，并提供了全面的评估方法。

该论文提出了一种新的Instruct-ReID任务，可以视为现有6个ReID任务的统一框架，并提出了一种新的模型IRM和IRM++，分别用于任务特定和任务不相关的评估。

该论文提出的Instruct-ReID任务是一个新的任务，可以统一不同场景下的人物再识别任务。提出的IRM和IRM++模型在OmniReID++基准测试中表现出色，达到了10个测试集的最佳性能。此外，该论文提供了数据集、模型和代码的开源。

近期的相关研究包括：'Beyond Part Models: Person Retrieval with Refined Part Pooling'，'Learning Discriminative Features with Multiple Granularities for Person Re-Identification'，'Unlabeled Samples Generated by GAN Improve the Person Re-Identification Baseline in vitro'等。