MeMOTR: Long-Term Memory-Augmented Transformer for Multi-Object Tracking

解决问题：该论文的目的是解决多目标跟踪中长期记忆建模的问题，通过提出一种长期记忆增强的Transformer模型来改进目标关联能力。

关键思路：该论文的关键思路是利用自定义的记忆-注意力层注入长期记忆，从而使同一目标的跟踪嵌入更加稳定和可区分，从而改进目标关联能力。

其他亮点：该论文在DanceTrack数据集上实验结果表明，MeMOTR方法在HOTA和AssA指标上分别超过现有最先进方法7.9％和13.0％。此外，该模型在MOT17上的关联性能也优于其他基于Transformer的方法，并且在BDD100K上具有良好的泛化性。代码已开源。

关于作者：Ruopeng Gao和Limin Wang是该论文的主要作者，他们分别来自南京大学和华为诺亚方舟实验室。Ruopeng Gao之前的代表作包括“STEm-Seg: Spatio-Temporal Embeddings for Instance Segmentation”和“Dual Refinement Network for Single-Stage Object Detection”，Limin Wang之前的代表作包括“Learning to Model the Tail”和“Towards Real-Time Multi-Object Tracking”。

相关研究：近期其他相关的研究包括“MCMOT: Multi-Cue Multi-Object Tracking with a Weakly Supervised Pre-Training Scheme”（作者：Zheng Zhu、Qiang Wang等，机构：南京大学）、“TransTrack: Multiple Object Tracking with Transformer”（作者：Xinlong Wang、Tao Kong等，机构：苏州大学和腾讯公司）和“Learning to Track: Online Multi-Object Tracking by Decision Making”（作者：Zhihao Li、Zhuoyuan Wu等，机构：香港中文大学）。

论文摘要：本文介绍了一种用于多目标跟踪的长期记忆增强Transformer方法，称为MeMOTR。传统的多目标跟踪方法只能明确地利用相邻帧之间的目标特征，缺乏建模长期时间信息的能力。MeMOTR通过使用自定义的记忆注意层注入长期记忆，使得同一目标的跟踪嵌入更加稳定和可区分，从而显著提高了模型的目标关联能力。实验结果表明，MeMOTR在DanceTrack数据集上的HOTA和AssA指标分别比现有最先进方法提高了7.9％和13.0％。此外，MeMOTR在MOT17数据集上的关联性能也优于其他基于Transformer的方法，并且在BDD100K上具有良好的泛化性能。该方法的代码可在\href{https://github.com/MCG-NJU/MeMOTR}{https://github.com/MCG-NJU/MeMOTR}上找到。

内容中包含的图片若涉及版权问题，请及时与我们联系删除