SWAP-NAS: sample-wise activation patterns for ultra-fast NAS

训练免费的度量方法（也称为零成本代理）被广泛用于避免资源密集型的神经网络训练，特别是在神经架构搜索（NAS）中。最近的研究表明，现有的训练免费度量方法存在一些限制，例如在不同的搜索空间和任务中相关性有限，泛化性差等。因此，我们提出了一种新的高性能训练免费度量方法——样本级激活模式及其衍生物SWAP-Score。它通过衡量网络在一批输入样本上的表现来衡量其表达能力。SWAP-Score与不同搜索空间和任务中的真实性能强相关，比NAS-Bench-101/201/301和TransNAS-Bench-101上的15种现有训练免费度量方法表现更好。SWAP-Score可以通过正则化进一步增强，这在基于单元的搜索空间中可以实现更高的相关性，并在搜索期间实现模型大小控制。例如，在NAS-Bench-201网络上，正则化的SWAP-Score与CIFAR-100验证精度的Spearman等级相关系数为0.90，明显高于第二好的度量方法NWOT的0.80。当与NAS的进化算法集成时，我们的SWAP-NAS在大约6分钟和9分钟的GPU时间内在CIFAR-10和ImageNet上实现了竞争性能。

提出一种新的高性能的无需训练的度量方法，用于神经架构搜索中评估网络的表现能力。

提出Sample-Wise Activation Patterns和其衍生物SWAP-Score，用于度量网络在一批输入样本上的表现能力。该方法与不同搜索空间和任务的实际性能强相关，且优于15种现有的无需训练的度量方法。

实验结果表明，SWAP-Score可以通过正则化进一步提高，从而在基于单元的搜索空间中实现模型大小控制。SWAP-Score与NAS算法结合，可以在短时间内在CIFAR-10和ImageNet上实现竞争性能。

最近的相关研究包括NAS-Bench-101/201/301和TransNAS-Bench-101。