CAP: A Context-Aware Neural Predictor for NAS

神经预测器在神经架构搜索（NAS）的耗时性能评估阶段中非常有效，因为它们可以直接估计未见过的架构。尽管它们非常有效，但是使用较少的注释架构训练一个强大的神经预测器仍然是一个巨大的挑战。本文提出了一种基于架构上下文信息的上下文感知神经预测器（CAP），它只需要少量注释的架构进行训练。具体而言，输入的架构被编码成图形，预测器推断每个图形内部节点周围的上下文结构。然后，在所提出的上下文感知自监督任务的增强下，预训练的预测器可以获得具有表现力和可推广性的架构表示。因此，只需要很少的注释架构就足以进行训练。在不同的搜索空间中的实验结果表明，与最先进的神经预测器相比，CAP表现出更优异的性能。特别是，在NAS-Bench-101中，CAP可以在仅有172个注释架构的预算下精确排名架构。此外，CAP可以帮助在CIFAR-10数据集上的NAS-Bench-101和DARTS搜索空间中找到有前途的架构，成为NAS高效探索搜索空间的有用导航器。

如何用少量标注的神经结构来训练一个强大的神经网络预测器，以提高神经架构搜索的效率？

提出了一种基于上下文感知的神经网络预测器，通过对神经架构中节点周围的上下文结构进行推断，使用自监督任务进行增强，从而获得表达能力强、具有泛化性的架构表示，从而只需要少量标注的神经结构就可以进行训练。

实验结果表明，与最先进的神经网络预测器相比，该方法在不同的搜索空间中具有更好的性能。特别是在NAS-Bench-101中，只有172个标注的神经结构就可以进行排名。此外，该方法在CIFAR-10数据集上的NAS-Bench-101和DARTS搜索空间中均能发现有前途的架构，成为探索搜索空间的有用导航器。

近期在神经网络预测器领域的相关研究包括：《Neural Architecture Search with Bayesian Optimisation and Optimal Transport》、《Efficient Neural Architecture Search with Network Morphism》等。