本文分享由同济大学、新加坡南洋理工大学、新加坡国立大学以及达摩院在CVPR 2022上合作提出的基于时序信息的孪生网络框架 TCTrack: Temporal Contexts for Aerial Tracking。


目的是通过两个维度引入时序信息以更好地实现速度和性能的平衡以应对空中场景带来的挑战。TCTrack通过特征维度及相似度图维度连续整合时序信息。在特征提取过程中，我们通过使用改进的Online TAdaConv在特征维度高效引入时序信息；而在特征图维度，本文使用了更加高效的时序信息策略，通过不断积累的时序信息修正特征图。


最终TCTrack不仅在不使用加速情况下在嵌入式系统达到了实时性的要求，还获得了与其他SOTA跟踪器相似的精度。


详细信息如下：

  • 论文链接：https://arxiv.org/abs/2203.01885
  • 项目链接：https://github.com/vision4robotics/TCTrack

 

问题和挑战
目标跟踪是计算机视觉领域基础任务之一。而得益于无人机等飞行载具的高机动性优势，基于目标跟踪的应用得到越来越快的发展，例如撞击预警，航空摄影，视觉定位等，如图（a）。
而空中场景同样带来了两类挑战：1. 高速和极高的飞行高度带来了诸如运动模糊，频繁遮挡，微小物体等挑战，如图（b）；2. 空中载具由于需要保证一定的续航时间，无法携带高性能计算设备，限制了高时间成本的算法。因此开发一种鲁棒且高效的适用于空中跟踪条件的方法仍然是一项具有挑战的工作：

    

方法介绍

针对以上两类问题，我们提出了一个新颖的基于孪生网络的目标跟踪框架，如下图所示。主要通过两个重要部分组成1）在线的特征提取2）时序自适应的特征图精炼。在这一部分，我们会讲解本文中的 Online TAdaConv 和 AT-Trans 的动机,网络结构和实现细节。

 

动机：

目标跟踪过程中有着丰富时序信息，然而过去的跟踪器在特征提取的过程中每一帧图像都是通过同样的卷积网络提取特征，缺乏对时序信息的建模利用，所以我们希望通过引入时序信息以便提取更加丰富的特征。然而储存过量时序信息会导致内存占用及计算量上升，因此我们最终决定通过在线生成时序调制向量与预训练的卷积核运算来减少相应的计算量。

方法：

内容中包含的图片若涉及版权问题，请及时与我们联系删除