论文链接：https://arxiv.org/abs/2105.11111

代码链接：https://github.com/LiWentomng/OrientedRepPoints

 

导读

与常规图像中目标相比，航拍图像中的目标通常处于杂乱的环境且存在多种方向朝向趋势。不同于主流的回归边界框方向方法，本文利用自适应点表示提出了一种有效的自适应点学习方法来进行航空目标检测，自适应点表示使得该方法能够捕获任意方向目标的几何信息。为此，本文提出了三种定向转换函数以便于准确地定向分类和定位。同时，本文还提出了一种有效的质量评估和样本分配方案用于自适应点学习，以在训练阶段选择具有代表性的Oriented RepPoints样本，该方案能够从相邻对象或背景噪声中捕获非轴对齐的特征，引入空间约束来惩罚自适应点学习的异常点。在包括 DOTA、HRSC2016、UCAS-AOD 和 DIOR-R 在内的四个具有挑战性的航空数据集上的实验结果上证明了本文方法的有效性。

 

贡献

作为一项重要的计算机视觉任务，航空目标检测在远程图像理解中发挥着重要作用，近期引起了研究人员越来越多的关注。与通用目标检测不同，航空目标检测有其自身独特的难点，包括任意方向的非轴对齐目标、具有复杂上下文的目标密集分布。

主流方法通常将航空物体检测视为旋转物体的定位问题。 其中，基于角度的方向回归方法在占据了主导地位。 尽管已经取得了可喜的性能，但由于角方向的有界周期性性质和旋转边界框的方向定义，直接方向预测仍然存在一些问题，例如损失的不连续性和回归不一致。 尽管定位结果很有吸引力，但基于方向回归的检测器可能无法准确预测方向，如下图所示。

为了有效解决上述问题，本文重新审视了航拍物体的特征表示以避免敏感的方向估计。作为一种细粒度的对象表示，点集在传统通用目标检测器中显示出捕获关键语义特征的巨大潜力。 然而，其简单的转换函数只产生垂直水平的边界框，无法精确估计空中物体的方向。 此外，RepPoints 仅根据语义特征对关键点进行回归，而忽略了有效衡量学习点的质量。，这可能导致航拍图像中分布密集、场景复杂的非轴对齐对象的性能较差。

因此，本文提出了Oriented RepPoints，Oriented RepPoints则是在RepPoints的基础上改进了三种定向转换函数，以方便更准确的定向分类和定位。同时，本文针对RepPoints对关键点的监督较弱进行改进，提出了一种有效针对自适应点的质量评估和样本分配方案（APAA），用于对自适应点的监督，以在训练期间选择具有代表性的Oriented RepPoints样本，该方案能够从相邻目标或背景噪声中获取非轴对齐的特征，同时引入空间约束来惩罚自适应点学习过程的异常点。

本文的主要贡献可以总结如下：

  • 提出了一种有效的航空目标检测器，名为Oriented RepPoints，它引入了灵活的自适应点作为表示来实现定向目标检测；
  • 提出一种新的自适应点学习质量评估和样本分配方案，它不仅能选择从分类、定位的重要点样本，还能根据方向、逐点特征相关性提升表达能力；
  • 在四个具有挑战性的数据集上进行了广泛的实验，得到了SOTA的定性和定量结果。

 

方法

 

自适应点学习

在可变形卷积获得目标的9个采样点后，怎么转换成带角度的边界框呢，Oriented RepPoints在RepPoints基础上改进了三个转换函数：

  • MinAeraRect：在采样点中选择具有最小面积的旋转四边形；
  • NearestGTCorner：通过gt的四个角点，找到分别距离gt四个角点最近的采样点作为预测点，连接的四边形作为边界框；
  • ConvexHull：通过Jarvis March算法，找到包围所有采样点的外接多边形；

值得注意的是，NearestGTCorner 和ConvexHull是可微的，所以作者将其用于训练优化时候，MinAeraRect是不可微的，作者将其在推理的时候使用，在gt的监督，通过分类和定位损失驱动，采样点自适应地向目标的语义关键和几何特征方向移动,同时自适应点也将角度信息学习进去，通过转换函数已经将角度信息考虑进去，也无需再去对旋转角度单独回归。

整体网络架构同RepPoints一样，由两阶段组成，第一阶段通过中心点生成多个自适应采样点，第二阶段，通过损失函数进一步精确定位，同样分类只在第一步进行：

λ1 和λ2为损失权重，第一项为分类损失，计算公式如下:

R（θ）为采样点的预测的类别的置信度， b为目标对应的类别标签，Fcls为focal Loss，Ncls是整个采样点集合的数量。

第二项与第三项分别是两个阶段的回归损失函数，对于每个阶段，L定义为:

前者为已经转换方向的 box 的回归损失：

后者为空间约束损失：

 

自适应点的评估与分配

在RepPoints 中，即使是学到了语义特征和几何特征点，因为最后需要转换成box，通过gt对box监督完成模型训练，缺乏对自适应点的监督，这里对其进行改进，在训练阶段，对学习到的特征点进行评估，将选择高质量的自适应点做为正样本参与下一阶段。

作者定义了一个质量度量Q来从四个方面评估学习到的自适应点，包括每个定向点集的分类Qcls和定位能力Qloc、方向对齐能力Qori和逐点相关能力Qpoc:

其中:

即分类损失函数，反应了自适应点与 gt 之间的置信度的兼容性，同理Qloc使用基于 IOU 的回归损失函数:

由于Qori为空间位置距离的度量，它对角度变化不敏感，尤其是对于航拍图像中的物体。为了保证方向对齐性，作者先采用 MinAeaRect 转换函数从学习的点集中获得四个空间角点{g1，g2，g3，g4}，然后从两个相邻的角点以等间隔对有序点集进行采样。同样，为 ground-truth 角点等间隔生成 40 个点。因此，Qori定义如下:

 

动态top k 标签分配

基于每个自适应点的质量评估Q，在训练阶段，每次迭代时，选择 top K自适应点做为 RepPoints 的样本点，对于每个目标, 在第一阶段时，根据质量评估分数，对所有自适 应点做排序，为了检索高质量的自适应点样本，设置一个采样率，将每次迭代的前k个样本分配为训练的正样本, 其计算公式为：

其中Nt表示每个目标在第一阶段的自适应点集样本总数。在训练阶段, 通过可变形卷积 在第一阶段获得基于基于中心点的自适应点分布，在第二阶段，提出的自适应点评估和 分配 (APAA) 方案用于根据质量度量O选择高质量的点样本，只有被选择的适应点参与框的回归。

如图所示，APAA 方案使检测器能够预测高质量的Oriented RepPoints，以提高分类置信度和定位分数。同时APAA仅用于训练，在推理阶段不会产生额外的计算量。

 

实验

作者在DOTA、HRSC2016、UCAS-AOD 和 DIOR-R 在内的四个的航空数据集上进行试验，主干网络采用ResNet50和ResNet101和FPN，并基于各个维度做对比实验，效果对比明显。

 

基于自适应点质量Q的topK自适应选取，选取不同的采样率的影响：

使用不同样本分配方案的对比：

DOTA数据集：

HRSC2016数据集：

UCAS-AOD数据集：

DIOR-R数据集：

在DOTA数据集上，使用ResNet-50-FPN做为主干网络，使用所有类别对角度的平均误差做为评估标准：

对比发现，Oriented RepPoints方向误差最小，精度最高。

 

参考：

[1] https://www.zhihu.com/question/303900394/answer/540818451

[2] https://zhuanlan.zhihu.com/p/395200094

[3] https://zhuanlan.zhihu.com/p/103070923

[4]https://blog.csdn.net/justsolow/article/details/105971437?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_utm_term~default-0.pc_relevant_default&spm=1001.2101.3001.4242.1&utm_relevant_index=3

[5] https://blog.csdn.net/qq_21949357/article/details/102656708

[6] https://zhuanlan.zhihu.com/p/64522910

[7] https://zhuanlan.zhihu.com/p/260656201

[8] https://zhuanlan.zhihu.com/p/136175181

[9] https://mp.weixin.qq.com/s/SCg3O1Wewv7RXPxMd67X-A

[10] https://blog.csdn.net/qq_30146937/article/details/104530348

[11] https://www.zhihu.com/question/322372759/answer/670961802

[12] https://www.jiqizhixin.com/articles/2019-10-30-3

内容中包含的图片若涉及版权问题，请及时与我们联系删除