自动化所胡卫明团队 | Ocean: 结合匹配关系学习的目标感知无锚框跟踪算法

图片来自Springer

全文导读

单目标跟踪任务旨在仅给定目标在视频首帧中的位置的情况下推断目标在视频序列中的位置。当目标发生大幅形变、严重遮挡以及光照变化等情况时，跟踪任务将面临挑战。实时跟踪在视觉监控、机器人、自动驾驶、人机交互等众多领域具有广泛的应用需求。近年来，基于孪生网络的单目标跟踪方法凭借速度与精度的良好平衡，受到了广泛关注。例如，SINT与SiamFC算法利用孪生网络学习模板图像与候选图像区域之间的相似度度量，进而将跟踪任务建模为在整幅图像中搜索目标的过程。众多基于孪生网络的跟踪器均取得了优异的性能表现，其中代表性算法为SiamRPN。该算法采用孪生区域建议网络，将锚框划分为前景与背景两类，并对锚框进行修正(即学习相对于预定义锚框的二维偏移量)。基于锚框的跟踪器具备良好的跟踪精度，但其回归网络仅利用与目标交并比(IoU)较高的正锚框完成训练；当分类结果不可靠时，这一机制可能导致跟踪失效。跟踪过程中的误差累积会降低目标位置预测的可靠性，进而减小预测边界框与目标的交并比，此时回归网络将无法对这些不准确的预测结果进行修正。由于训练集中不存在与目标重叠度较低的样本，与目标重叠度较低的锚框难以得到有效优化，最终会导致跟踪器在后续帧中逐渐发生漂移。

孪生网络跟踪方法的核心是学习模板与候选图像区域之间的关联关系。计算模板与各候选区域的距离是量化二者关联关系的最常用手段，L₁距离、L₂距离与互相关距离已先后被引入各类跟踪算法中。然而，单一的人工设计距离度量不足以保证算法在各类复杂挑战场景下的跟踪鲁棒性。值得注意的是，关系学习并不局限于显式的距离度量，特征间的关联关系可通过简单的特征组合方式完成学习。例如在小样本学习领域，特征拼接是实现特征关系学习的主流方法。因此，为基于孪生网络的跟踪任务设计更优的关系学习模型，具有重要的研究价值。

本研究目的是提出一种可修正位置预测偏差的边界框回归器。为此，本文提出一种面向跟踪任务的目标感知无锚框网络(Ocean)。该网络无需预测锚框偏移量，而是直接回归单帧图像内的目标位置。所提出的Ocean跟踪器包含目标感知分类网络与边界框回归网络两个分支：分类网络用于判定图像区域属于前景或背景；回归网络用于预测目标区域内每个位置到真值边界框四条边的距离。由于真值框内的所有位置均得到充分训练，即便仅目标的小部分被识别为前景，回归网络仍可完成目标定位。因此在跟踪过程中，与目标重叠度较低的偏差预测结果能够得到有效修正。当回归网络修正偏差预测并生成更精准的边界框后，从修正后边界框中提取的特征可反过来提升预测边界框前景/背景分类的准确度。换言之，该方法以预测边界框为参考，学习用于分类任务的目标感知特征；特征提取的采样位置与候选目标的预测边界框对齐，预测区域内的采样可自适应目标尺度与位置的变化，由此学习得到的特征具备更高的可靠性与分类判别力。本文为所提出的目标感知无锚框跟踪器增设了网络参数在线更新插件模块，让跟踪器可在跟踪过程中捕捉目标外观的变化。参数在线更新模块能够提升跟踪精度，但会牺牲跟踪推理的实时性，这一特性也体现了该目标感知无锚框跟踪器的可插拔扩展能力。

针对单目标跟踪任务，本研究引入了六种用于非显式距离测算的关系学习算子，包括通道拼接、逐元素相加、通道级关系度量、条件线性调制、纯Transformer结构以及像素标签传播。本研究提出一种二值通道操作机制，可自动搜索算子的组合形式，以此构建适用于基于孪生网络跟踪任务的匹配网络。针对分类与回归两类任务，该方法可分别同步搜索得到包含不同关系学习算子的差异化自适应匹配网络，从而能够根据不同任务的特性自主选择最优的关系学习算子。将Ocean跟踪器中的相似度度量模块替换为上述搜索得到的匹配网络，即可得到 Ocean++跟踪器。

本研究在多个跟踪基准数据集上验证了上述跟踪器的有效性。Ocean跟踪器在保持实时运行的同时，性能与当前最新前沿(SOTA)算法相比具备竞争力；尤其相较于基于锚框的方法，Ocean算法实现了明确的性能提升。嵌入Ocean的在线更新模块进一步增强了跟踪器对环境的适应能力，而Ocean++跟踪器的性能明显优于Ocean。

主要贡献

本研究的主要贡献总结如下：

1) 提出一种可修正偏差边界框预测结果的目标感知无锚框网络，通过学习目标感知特征提升匹配精度。

2) 对关系学习算子执行二值通道操作，构建可自动学习图像区域间关联关系的匹配网络，适配基于孪生网络的跟踪任务。

论文其余部分结构安排如下：第2章综述相关研究工作；第3章提出面向跟踪任务的目标感知无锚框网络；第4章阐述跟踪匹配网络的自动搜索方法；第5章给出实验结果；第6章对全文进行总结。