RelativeNAS: Relative Neural Architecture Search via Slow-Fast Learning

论文链接：http://xxx.itp.ac.cn/abs/2009.06193 代码链接：https://github.com/EMI-Group/RelativeNAS

表现SOTA！性能优于NASNet、AmoebaNet等网络，还可以迁移应用于目标检测、语义分割等任务上，代码刚刚开源！作者单位：南方科技大学, 华为, 香港大学

尽管卷积神经网络（CNN）在计算机视觉方面取得了巨大的成功，但是手动设计CNN既费时又容易出错。在旨在自动化高性能CNN设计的各种神经结构搜索（NAS）方法中，可微的NAS和基于 population-的NAS由于其独特的特性而引起了越来越多的关注。为了在克服两者的缺点的同时从优点中受益，这项工作提出了一种新颖的NAS方法RelativeNAS。作为高效搜索的关键，RelativeNAS以成对的方式在fast-learners（即具有相对较高准确性的网络）和slow-learners之间进行联合学习。此外，由于RelativeNAS仅需要低保真性能估计来区分fast-learner和slow-learner的每一对，因此节省了用于训练候选架构的某些计算成本。提出的RelativeNAS具有以下几个独特的优点：（1）它在ImageNet上实现了最先进的性能，其top-1错误率达24.88％，即分别比DARTS和AmoebaNet-B分别高出1.82％和1.12％； （2）使用单个1080Ti GPU仅花费九个小时来获取发现的cells，即分别比DARTS和AmoebaNet快3.75倍和7875x； （3）它提供了在CIFAR-10上获得的发现的cell可以直接迁移到目标检测，语义分割和关键点检测上，在PASCAL VOC上的mAP为73.1％，在Cityscapes上为78.7％mIoU，在AP下为68.5％AP竞争结果分别在MSCOCO上。

内容中包含的图片若涉及版权问题，请及时与我们联系删除