Autoregressive Queries for Adaptive Tracking with Spatio-TemporalTransformers

丰富的时空信息对于捕捉视觉跟踪中目标外观变化的复杂性至关重要。然而，大多数表现最佳的跟踪算法依赖于许多手工制作的组件来聚合时空信息。因此，时空信息还远未被充分探索。为了缓解这个问题，我们提出了一种自适应跟踪器，它具有时空变换器（称为 AQATrack），采用简单的自回归查询，有效学习时空信息，而无需许多手工设计的组件。首先，我们引入了一组可学习的自回归查询，以滑动窗口方式捕捉瞬时目标外观变化。然后，我们设计了一种新颖的注意机制，用于现有查询的交互，以在当前帧中生成新的查询。最后，基于初始目标模板和学习的自回归查询，设计了一个时空信息融合模块（STM），用于时空信息聚合以定位目标对象。由于 STM 的效益，我们可以有效地将静态外观和瞬时变化相结合，以指导强大的跟踪。广泛的实验表明，我们的方法显著提高了六个流行跟踪基准的跟踪器性能：LaSOT、LaSOText、TrackingNet、GOT-10k、TNL2K 和 UAV123。

本论文试图解决视觉跟踪中手工设计组件过多、未充分探索时空信息等问题，提出一种自适应跟踪器 AQATrack，采用自回归查询有效地学习时空信息。

AQATrack 采用自回归查询捕捉滑动窗口中瞬时目标外观变化，设计注意力机制生成当前帧的新查询，并通过时空信息融合模块（STM）将静态外观和瞬时变化有效结合，指导鲁棒跟踪。

论文在六个流行的跟踪基准测试中进行了广泛实验，包括 LaSOT、LaSOText、TrackingNet、GOT-10k、TNL2K 和 UAV123，结果表明 AQATrack 显著提高了跟踪器的性能。论文还提供了开源代码。

在此领域的相关研究包括：ATOM、SiamRPN++、SiamFC、DiMP、SiamMask 等。