论文：https://arxiv.org/abs/2203.09730

Github：https://github.com/strongwolf/DW

 

摘要

标签分配(Label Assignment,LA)是目标检测中重要的一个步骤，其目的是为每个训练样本分配正样本和负样本的损失权重。现有LA研究主要关注正样本权重函数的设计，却直接使用正样本权重作为负样本的权重，这种做法一定程度上限制了检测器的学习能力。本文探索了一种新的标签分配范式，称为双加权标签分配(DW)，以分别指定正样本和负样本的损失权重。作者认为：正样本权重由其分类和定位之间的一致性程度确定，而负样本权重为负样本的概率和其以负样本为条件的重要性。基于这一动机，本文首先分析了目标检测中的评价指标，确定正/负权重的关键影响因素，然后提出了DW算法。这种加权策略为区分重要的和不重要的样本提供了更大的灵活性，从而使训练更有效的目标检测器成为可能。实验结果表明通过引用DW，FCOS-ResNet-50在COCO上可以达到41.5%的mAP，优于其他现有的LA方法。

 

贡献

目前最热门的目标检测算法大多使用预定义的Anchor来预测类标签和回归偏移量实现目标预测和判别。作为检测器预定义的基本要素，检测算法需要为Anchor分配合适的分类(cls)和回归(reg)标签来监督训练过程，即为每个Anchor分配损失权重的任务。Anchor的cls损失（reg损失可以类似定义）通常可以表示为：

其中，wpos和wneg分别为正样本和负样本权重，s为预测的分类得分。根据和的设计，LA方法大致可以分为2类：硬标签分配和软标签分配。前者假设每个Anchor都是正样本或负样本，类似于支持向量机，其核心思想是找到一个合适的决策边界将Anchor分成一个正样本集和一个负样本集。这一研究方向又可以进一步分为静态规则和动态规则两种，静态规则采用预定义的度量标准，如IoU或从Anchor中心到GT中心的距离，以匹配对象或背景到每个Anchor。但它们忽略了决策边界与检测目标、类别之间的多样性问题。近年来，研究者提出了许多动态匹配策略。例如，根据IoU分布来分割训练Anchor的ATSS算法。但静态和动态匹配策略都忽略了样本的重要性其实是不一的。

目标检测的评价指标表明，最优预测不仅应该具有较高的分类分数，还应该具有准确的定位，这意味着分类头（classification head）和回归头（regression head）之间具有较高一致性的Anchor应该更为重要。基于上述动机，研究人员选择为Anchor分配软权重。现有的方法主要集中于正样本加权函数的设计，而负样本权重仅由正样本权重推导出来。

为了给检测器提供更多的判别性监督信号，本文提出了一种新的Label Assignment方案，称为双加权标签分配，分别指定正负样本的权重，并使它们实现互补。如图1所示，DW通过分配不同的正、负样本权重对以区分4种不同的Anchor，从而为检测器提供更细粒度的监督训练信号。

本文贡献可以总结如下：

  • 证实了已有标签分配策略不能在更精细的水平上区分每个训练样本，无法提供精细的监督信息；
  • 提出了一种新的标签分配范式，称为双加权标签分配(DW)，以分别指定正样本和负样本的损失权重；
  • DW在单尺度训练方案下，将基于ResNet-50的FCOS检测器在COCO验证集上的结果提升到了2AP，超过了其他LA方法

 

方法

DW框架如图2所示。首先通过选择GT中心附近的Anchor（中心先验）为每个目标构建一个候选正样本集合。候选集合外的Anchor被认为是负样本，不会参与加权函数的设计过程，候选集内的Anchor将被分配到正、负和回归三个权重上，以更有效地监督训练过程。

 

动机

一个良好的检测器应该能够预测同时具有较高分类得分和精确位置的目标框。然而，如果所有的训练样本都被同等处理，分类分支和检测分支之间就会出现不匹配的问题，类别得分最高的位置通常不是回归目标边界的最佳位置。

现有工作检测将正负样本的权重设置为相同的数值，表1总结了近期代表性方法中的权重生成方法。可以看出，目前的方法通常定义一个度量t来表示分类分支和检测分支在Anchor水平之间的一致性程度，然后将不一致性度量设计为1−t的函数。

 

作者建议以预测感知的方式分别设置正负样本的权重。正样本加权函数以预测的cls得分s和预测框与GT目标之间的IoU作为输入，并通过估计分类分支和检测分支之间的一致性程度来设置正样本权重。负样本加权函数采用与正样本加权函数相同的输入，但将负样本权重表示为以下2项的乘法：Anchor是负样本的概率以及其为负样本时的重要性。这样，具有相似正样本权值的模糊Anchor可以接收到具有不同负样本权值的更细粒度的监督信号。

 

正样本权重

正样本权重应该反映其在分类和定位中准确检测对象的重要性。作者在进行COCO测试期间，发现一个类别的所有预测都应该通过一个排名指标进行适当的排名。现有的方法通常使用分类评分或分类评分与预测的IoU的组合作为排名指标，一个预测将被定义为正确结果的条件如下：

  • 预测的边界框与其最近的GT之间的IoU大于一个阈值θ；
  • 当前边界框没有出现过。

可以看出，高分类置信度和高IoU是正样本预测的充分必要条件。这意味着同时满足这2个条件的Anchor在测试过程中更有可能被定义为正样本预测，因此它们在训练过程中应该具有更高的重要性。为此，本文首先定义一个一致性度量t以度量两个条件之间的一致性：

其中，β是一个平衡参数。为了增大不同Anchor之间的权重，进一步添加了一个指数调制因子：

其中，µ是一个控制不同权重的超参数。最后，每个实例的每个Anchor的正权值由候选集内的所有正权值之和进行归一化。

 

负样本权重

为了提供更多的监督信息，本文提出为负样本分配更明显的权重来表明它们的重要性，这定义为负样本的概率以及其为负样本时的重要性的乘法。其中，负样本概率通过IoU指标进行计算，为简单起见，本文实例化为以下函数：

在推理时，低置信度的负样本预测不会影响召回率，但会降低精度。因此，负样本的置信度应该尽可能小，其重要性设置为Rank分数的因变量：

最终，负样本权重为：

 

实验

本文在MSCOCO大规模检测数据集上进行了大量的实验，该数据集包含115K、5K和20K图像，分别用于训练、验证和测试集。

 

1、正样本权重的超参数

上表展示了通过改变β从3到7和µ从3到8来改变DW的性能。可以看到，当β为5，µ为5时，效果最好。β和µ的其他组合会使AP性能从0.1降至0.7。因此，在其余所有实验中，将β和µ设为5。

 

  • 负样本权重的超参数

作者还进行了几个实验来研究DW对超参数和的鲁棒性，这些参数用于调节负样本权重的相对尺度。使用不同的和组合得到的AP结果范围为41~41.5，如表所示。这意味着DW的性能对这2个超参数不敏感。

 

  • 性能对比

Hard LA的最佳性能是通过OTA，40.7AP。由于OTA将LA作为一个最优规划问题，它将增加训练时间的20%以上。GFLv2利用一个额外复杂的分支来估计定位质量，并在Soft LA方法中获得了41.1AP的第2名性能。作者尝试分离自动分配中的权重并分配给损失，但只得到39.8和36.6AP，分别比原始性能低0.6和3.8，这意味着自动分配中的加权方案在适应主流模型时不能很好地工作。

 

  • 可视化

为了进一步了解DW与现有方法的区别，本文在图5中展示了DW的cls评分、IoU、pos和负权重以及两种代表性方法GFL和VFL的可视化图。可以看出，DW中的pos和负权重主要集中在GT的中心区域，而GFL和VFL则在更宽的区域上分配权重。虽然DW可以很好地区分不同Anchor对一个物体的重要性，但它会同时减少训练样本的数量，如图5所示，这可能会影响对小目标的训练效果。

内容中包含的图片若涉及版权问题，请及时与我们联系删除