论文标题：BN-NAS: Neural Architecture Search with Batch Normalization

论文链接：https://arxiv.org/abs/2108.07375

代码链接：https://github.com/bychen515/BNNAS

作者单位：悉尼大学 & 百度 & 牛津大学 & 商汤

可以显著减少NAS中模型训练和评估所需的时间，并发现仅训练BN参数可以加速NAS的收敛速度，性能优于FairNAS等网络，代码即将开源！

我们提出了 BN-NAS，使用批标准化(BN)的神经网络架构搜索 (BN-NAS)，以加速神经架构搜索 (NAS)。 BN-NAS 可以显著减少 NAS 中模型训练和评估所需的时间。具体来说，为了快速评估，我们提出了一个基于 BN 的指标，用于在非常早期的训练阶段预测子网性能。 基于 BN 的指标进一步帮助我们通过在超网训练期间仅训练 BN 参数来提高训练效率。 这是基于我们的观察，即不需要训练整个超网，而仅训练 BN 参数可以加速网络架构搜索的网络收敛。大量实验表明，我们的方法可以显着缩短训练超网的时间 10 倍以上，并将评估子网的时间缩短 60 万次以上，而不会损失准确性。

内容中包含的图片若涉及版权问题，请及时与我们联系删除