CoTracker3: Simpler and Better Point Tracking by Pseudo-Labelling Real Videos

大多数最先进的点追踪器由于难以为这项任务注释真实视频，因此是使用合成数据进行训练的。然而，这可能会导致由于合成和真实视频之间的统计差距而出现次优性能。为了更好地理解这些问题，我们介绍了CoTracker3，包括一个新的跟踪模型和一个新的半监督训练方法。这允许在训练过程中使用没有注释的真实视频，通过使用现成的教师生成伪标签。新模型消除或简化了以前跟踪器的组件，从而产生了更简单且通常更小的架构。这种训练方案比以前的工作简单得多，并且使用比以前少1000倍的数据就可以获得更好的结果。我们进一步研究了扩展行为，以了解在点跟踪中使用更多真实的无监督数据的影响。该模型提供在线和离线两个版本，并可可靠地跟踪可见和遮挡点。

本论文旨在解决点追踪中合成数据与真实数据之间的统计差距所导致的性能问题，提出了一种新的追踪模型和半监督训练方法，使得可以利用无标注真实视频进行训练。

论文提出了CoTracker3模型和半监督训练方法，通过使用现成的teacher生成伪标签，从而利用无标注真实视频进行训练，同时简化了之前追踪器的组件，使得模型更加简单、小巧。

论文的实验结果表明，该模型在使用1000倍少的数据的情况下，比之前的方法取得了更好的效果。此外，模型还可以可靠地跟踪可见和遮挡的点。模型提供了在线和离线两种变体，同时开源了代码。

在点追踪领域，最近的相关研究包括DeepSORT、FairMOT等。