1.简介

DAMO-YOLO是一个兼顾速度与精度的目标检测框架，其效果超越了目前的一众YOLO系列方法，在实现SOTA的同时，保持了很高的推理速度。DAMO-YOLO是在YOLO框架基础上引入了一系列新技术，对整个检测框架进行了大幅的修改。具体包括：基于NAS搜索的新检测backbone结构，更深的neck结构，精简的head结构，以及引入蒸馏技术实现效果的进一步提升。模型之外，DAMO-YOLO还提供高效的训练策略以及便捷易用的部署工具，能够快速解决工业落地中的实际问题！

使用入口：

https://modelscope.cn/models/damo/cv_tinynas_object-detection_damoyolo/summary

代码地址：GitHub - tinyvision/damo-yolo

2. 关键技术

2.1. NAS backbone: MAE-NAS

Backbone的网络结构在目标检测中起着重要的作用。DarkNet在早期YOLO系列中一直占据着主导地位。最近，一些工作也开始探索其他对检测有效的网络结构，比如YOLOv6和YOLOv7。然而，这些网络仍然是人工设计的。随着神经网络结构搜索技术（NAS）的发展，出现了许多可以用于检测任务的NAS网络结构，并且相比于传统手动设计的网络，NAS网络结构可以达到能好的检测效果。因此，我们利用NAS技术搜索出合适的网络结构作为我们的DAMO-YOLO的backbone。这里我们采用的是阿里自研的MAE-NAS（开源链接）。MAE-NAS是一种启发式和免训练的NAS搜索方法，可以用于快速大范围搜索各种不同规模的骨干网络结构。

MAE-NAS利用信息论理论从熵的角度去评测初始化网络，评测过程不需要任何训练过程，从而解决了之前NAS搜索方法需要训练再评测的弊端。实现短时间内大范围的网络搜索，降低搜索成本的同时，也提高了可以找到的潜在更优网络结构的可能性。特别值得注意的是，在MAE-NAS搜索中，我们使用K1K3作为基本搜索模块。同时，受YOLOv6启发，我们直接使用GPU推理延迟Latency，而不是 Flops，作为目标预算。搜索后，我们将空间金字塔池化和焦点模块应用到最后的骨干。

下表1中列出了不同的主干的性能对比结果。可以看到MAE-NAS骨干网络的效果要明显优于DarkNet网络结构。

2.2. Large Neck: RepGFPN

在FPN(Feature Pyramid Network)中，多尺度特征融合旨在对从backbone不同stage输出的特征进行聚合，从而增强输出特征的表达能力，提升模型性能。传统的FPN引入top-to-down的路径来融合多尺度特征。考虑到单向信息流的限制，PAFPN增加了一个额外的自底向上的路径聚合网络，然而增加了计算成本。为了降低计算量，YOLO系列检测网络选择带有CSPNet的PAFPN来融合来自backbone输出的多尺度特征。

我们在ICLR2022的工作GiraffeDet中提出了新颖的Light-Backbone Heavy-Neck结构并达到了SOTA性能，原因在于给出的neck结构GFPN(Generalized FPN)能够充分交换高级语义信息和低级空间信息。在GFPN中，多尺度特征融合发生在前一层和当前层的不同尺度特征中，此外，log_2(n)的跨层连接提供了更有效的信息传输，可以扩展到更深的网络。

因此，我们尝试将GFPN引入到DAMO-YOLO中，相比于PANet,我们取得了更高的精度，这是在预期之中的。然而与之同时，GFPN带来了模型推理时延的增加，使得精度/时延的权衡并未取得较大的优势。通过对原始GFPN结构的分析，我们将原因归结为以下几个方面：（1）不同尺度特征共享相同通道数，导致难以给出一个最优通道数来保证高层低分辨率特征和低层高分辨率特征具有同样丰富的表达能力；（2）GFPN采用Queen-Fusion强化特征之间的融合，而Queen-Fusion包含大量的上采样和下采样操作来实现不同尺度特征的融合，极大影响推理速度；（3）GFPN中使用的3x3卷积进行跨尺度特征融合的效率不高，不能满足轻量级计算量的需求，需要进一步优化。

经过上述分析后，我们在GFPN的基础上提出了新的Efficient-RepGFPN来满足实时目标检测中neck的设计，主要包括以下改进：（1）不同尺度特征使用不同的通道数，从而在轻量级计算量约束下，灵活控制高层特征和低层特征的表达能力；（2）删除了Queen-Fusion中的额外的上采样操作，在精度下降较少的情况下，较大降低模型推理时延；（3）将原始基于卷积的特征融合改进为CSPNet连接，同时引入重参数化思想和ELAN连接，在不增加更多计算量的同时，提升模型的精度。最终的Efficient-RepGFPN网络结构如上图2所示。

内容中包含的图片若涉及版权问题，请及时与我们联系删除