DINO-Tracker: Taming DINO for Self-Supervised Point Tracking in a Single Video

我们提出了DINO-Tracker——一种用于视频中长期稠密跟踪的新框架。我们方法的支柱是将单个视频的测试时间训练与预训练的DINO-ViT模型学习到的强大的局部语义特征相结合。具体而言，我们的框架同时采用DINO的特征来适应测试视频的运动观察，同时训练一个直接利用精细特征的跟踪器。整个框架使用自监督损失和正则化的组合进行端到端训练，这使我们能够保留并受益于DINO的语义先验知识。广泛的评估表明，我们的方法在已知基准测试中取得了最先进的结果。DINO-Tracker明显优于自监督方法，并且在长期遮挡跟踪的挑战性情况下表现优于最先进的监督跟踪器，同时具有竞争力。

DINO-Tracker旨在解决视频中长期密集跟踪的问题，特别是在长期遮挡的情况下。

DINO-Tracker结合了测试时间训练和预训练DINO-ViT模型的本地化语义特征，通过自监督损失和正则化训练整个框架，实现了端到端的跟踪。

DINO-Tracker在公认的基准测试中实现了最先进的结果，明显优于自监督方法，并与最先进的监督跟踪器竞争，并在长期遮挡的情况下优于它们。该论文还开源了代码。

与此相关的最近研究包括：SiamRPN++、ATOM、DiMP和SiamCAR等。