Temporal Correlation Meets Embedding: Towards a 2nd Generation of JDE-based Real-Time Multi-Object Tracking

联合检测和嵌入（Joint Detection and Embedding，JDE）跟踪器通过将外观特征提取作为辅助任务，将重新识别任务（ReID）嵌入到检测器中，在多目标跟踪（MOT）任务中展现出优异的性能，实现了推理速度和跟踪性能之间的平衡。然而，解决检测器和特征提取器之间的竞争一直是一个挑战。此外，直接将ReID任务嵌入到MOT中的问题仍未得到解决。外观特征缺乏高区分度，导致它们的实用性受到限制。本文提出了一种新的学习方法，利用交叉相关来捕捉物体的时间信息。特征提取网络不再仅仅是在每个帧上训练外观特征，而是通过利用连续帧的特征热图学习更丰富的运动特征，解决了跨类特征相似性的挑战。此外，我们将我们的学习方法应用于更轻量级的特征提取网络，并将特征匹配分数视为强提示而不是辅助提示，采用适当的权重计算来反映我们获得的特征与MOT任务之间的兼容性。我们的跟踪器TCBTrack在多个公共基准测试中实现了最先进的性能，例如MOT17、MOT20和DanceTrack数据集。具体而言，在DanceTrack测试集上，我们实现了56.8 HOTA、58.1 IDF1和92.5 MOTA，成为能够实现实时性能的最佳在线跟踪器。与其他跟踪器的比较评估证明，我们的跟踪器在速度、鲁棒性和准确性之间实现了最佳平衡。

本论文旨在解决多目标跟踪中外观特征不足以区分目标的问题，提出了一种新的学习方法，利用交叉相关来捕捉物体的时间信息。

论文的关键思路是利用连续帧的特征热图来学习更丰富的运动特征，从而提高多目标跟踪的性能。

论文提出的跟踪器命名为TCBTrack，通过在轻量级特征提取网络中应用学习方法，将特征匹配分数视为强线索，实现了最佳速度、鲁棒性和准确性的平衡。在MOT17、MOT20和DanceTrack等多个公共基准测试集上，TCBTrack均取得了最先进的性能。在DanceTrack测试集上，HOTA达到了56.8，IDF1为58.1，MOTA为92.5，成为能够实现实时性能的最佳在线跟踪器。

近期在这个领域中的相关研究包括：DeepSORT、FairMOT、Tracktor++等。