香港科技大学 | Joint-DetNAS：使用 NAS、剪枝和动态蒸馏升级你的检测器

论文标题：Joint-DetNAS: Upgrade Your Detector with NAS, Pruning and Dynamic Distillation

论文链接：https://arxiv.org/abs/2105.12971

作者单位：香港科技大学 & 华为诺亚方舟实验室

表现SOTA！性能优于EfficientDet、NAS-FPN等网络，已收录于CVPR 2021！

我们提出了 Joint-DetNAS，一个用于目标检测的统一 NAS 框架，它集成了 3 个关键组件：NAS、剪枝和知识蒸馏。我们的 Joint-DetNAS 不是简单地流水线化这些技术，而是联合优化它们。该算法由两个核心过程组成：student morphism优化student的架构并去除冗余参数，而动态蒸馏旨在找到最优匹配的teacher。对于student morphism，采用权重继承策略，让student在充分利用前驱权重的同时，灵活更新自己的架构，大大加快了搜索速度；为了促进动态蒸馏，elastic teacher pool通过集成的渐进收缩策略进行训练，教师检测器可以从中采样，而无需在后续搜索中增加成本。给定一个基础检测器作为输入，我们的算法无需额外训练即可直接输出具有高性能的派生学生检测器。实验表明，我们的 Joint-DetNAS 大大优于朴素的流水线方法。以经典的 R101-FPN 作为基础检测器，Joint-DetNAS 在 MS COCO 上能够将其 mAP 从 41.4 提高到 43.9，并将延迟降低 47%，这与 SOTA EfficientDet 相当，同时需要更少的搜索成本。我们希望我们提出的方法可以为社区提供一种联合优化 NAS、KD 和剪枝的新方法。

内容中包含的图片若涉及版权问题，请及时与我们联系删除