CE-NAS: An End-to-End Carbon-Efficient Neural Architecture Search Framework

这项工作提出了一种新的神经架构搜索（NAS）方法，旨在增加模型设计过程的碳效率。所提出的CE-NAS框架通过探索不同NAS算法的能量和能量差异的碳排放变化，解决了NAS所涉及的高碳成本的关键挑战。在高层次上，CE-NAS利用强化学习代理根据时间序列变压器预测的碳强度动态调整GPU资源，以平衡节能的采样和耗能的评估任务。此外，CE-NAS利用最近提出的多目标优化器有效地减少了NAS搜索空间。我们证明了CE-NAS在降低碳排放的同时，在NAS数据集和开放领域NAS任务中实现了SOTA结果的有效性。例如，在HW-NasBench数据集上，CE-NAS将碳排放降低了最多7.22倍，同时保持了与基准NAS相当的搜索效率。对于开放领域NAS任务，CE-NAS在仅使用1.68M参数和38.53磅CO2的碳消耗下，在CIFAR-10上实现了97.35％的top-1准确率。在ImageNet上，我们的搜索模型使用FP16在NVIDIA V100上实现了80.6％的top-1准确率，0.78ms的TensorRT延迟，仅消耗909.86磅CO2，与其他一次性的NAS基线相当。

提高神经架构搜索的碳效率，降低与NAS相关的碳排放量。

通过使用强化学习代理和时间序列变换器来动态调整GPU资源，以平衡能量高效的采样和能量密集的评估任务，同时利用多目标优化器有效地减少NAS搜索空间。

实验结果表明，CE-NAS在降低碳排放量的同时，在NAS数据集和开放领域NAS任务中均取得了SOTA结果。例如，在HW-NasBench数据集上，CE-NAS将碳排放量降低了高达7.22倍，同时保持了与基准NAS相当的搜索效率。在CIFAR-10上，CE-NAS仅使用1.68M参数和38.53磅CO2的碳消耗就实现了97.35%的top-1准确率。在ImageNet上，使用FP16在NVIDIA V100上，我们的搜索模型实现了80.6%的top-1准确率，仅消耗909.86磅CO2，与其他基于一次性的NAS基线相当。

最近的相关研究包括AutoML-Zero，EfficientNet和ProxylessNAS等。