论文标题:Learn to Match: Automatic Matching Network Design for Visual Tracking
论文链接:https://arxiv.org/abs/2108.00803
代码链接:https://github.com/JudasDie/SOTS
作者单位:中国科学院大学
本文提出6个用于Siamese目标跟踪的新匹配算子,基于Ocean进行改进,表现SOTA!性能优于KYS、SiamBAN等网络,速度高达50 FPS!代码即将开源!
跟踪近年来取得了突破性的性能,其本质是高效匹配算子互相关及其变体。除了显著的成功之外,重要的是要注意启发式匹配网络设计在很大程度上依赖于专家经验。此外,我们通过实验发现,在所有具有挑战性的环境中,一个唯一的匹配算子很难保证稳定跟踪。因此,在这项工作中,我们从特征融合的角度而不是显式相似性学习的角度引入了六种新颖的匹配算子,即串联、逐点加法、成对关系、FiLM、简单Transformer和转导引导,以探索更多的可行性匹配运算符选择。分析揭示了这些算子对不同环境退化类型的选择性适应性,这激励我们将它们结合起来探索互补的特征。为此,我们提出二进制通道操作(BCM)来搜索这些算子的最佳组合。 BCM 通过学习其对其他跟踪步骤的贡献来决定重新训练或丢弃一个算子。通过将学习到的匹配网络插入到强大的基线跟踪器 Ocean 中,我们的模型在 OTB100、LaSOT 和 TrackingNet 上分别获得了 67.2→71.4、52.6→58.3、70.3→76.0 的有利增益。值得注意的是,我们的跟踪器称为 AutoMatch,使用的训练数据/时间比基线跟踪器少一半,并且使用 PyTorch 以 50 FPS 运行。

内容中包含的图片若涉及版权问题,请及时与我们联系删除


评论
沙发等你来抢