目前 DETR 类模型已经成为了目标检测的一个主流范式。但 DETR 算法模型复杂度高，推理速度低，严重影响了高准确度目标检测模型在端侧设备的部署，加大了学术研究和产业应用之间的鸿沟。
来自华为诺亚、华中科技大学的研究者们设计了一种新型的 DETR 轻量化模型 Focus-DETR 来解决这个难题。
为实现模型性能和计算资源消耗、显存消耗、推理时延之间的平衡，Focus-DETR 利用精细设计的前景特征选择策略，实现了目标检测高相关特征的精确筛选；继而，Focus-DETR 进一步提出了针对筛选后特征的注意力增强机制，来弥补 Deformable attention 远距离信息交互的缺失。相比业界全输入 SOTA 模型， AP 降低 0.5 以内，计算量降低 45%，FPS 提高 41%，并在多个 DETR-like 模型中进行了适配。
作者对多个 DETR 类检测器的 GFLOPs 和时延进行了对比分析，如图 1 所示。从图中发现，在 Deformable-DETR 和 DINO 中，encoder 的计算量分别是 decoder 计算量的 8.8 倍和 7 倍。同时，encoder 的时延大概是 decoder 时延的 4~8 倍。这表明，提升 encoder 的效率至关重要。

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除