神经结构搜索 (NAS) 最近发展迅猛,涌现出了大量的研究成果。总的来说,其主要分为四类:基于强化学习的神经结构搜索,基于遗传算法的神经结构搜索,基于梯度下降的方法与其他一些方法。

本文展示了基于遗传算法的多目标 NAS 中的一部分工作。NSGA-Net 将网络编码为字符串,在此基础上利用进化算法 NSGA-Ⅱ 来获得最优结构。NSGANetV2 在 NSGA-Net 引入了超网络和代理模型,减少模型的搜索时间,增加模型效率。NAT 算法引入了迁移学习,在微调子网的同时对超网进行自适应调整。

从中可以看出,代理模型,训练超网络这些方法已经逐渐成为热门方向。如何编码网络,选择交叉变异算子,选择目标对于 NAS 来说也是至关重要的。现阶段优化的网络主要集中于 CNN 与 RNN 模型,如何扩展到其他模型也是一个重要的研究点。

内容中包含的图片若涉及版权问题,请及时与我们联系删除