Estimating Neural Network Performance through Sample-Wise Activation Patterns

我们提供了一种新的高性能无需训练的指标，即样本级激活模式及其派生指标SWAP-Score。在神经架构搜索(NAS)中，训练无需度量（也称为零成本代理）被广泛使用以避免资源密集型的神经网络训练。最近的研究表明，现有的训练无需度量具有一些限制，例如在不同的搜索空间和任务中，相关性有限且泛化性差。因此，我们提出了Sample-Wise Activation Patterns及其派生指标SWAP-Score，这是一种新颖的高性能训练无需度量。它衡量了网络在一批输入样本上的表现能力。SWAP-Score与各种搜索空间和任务中的真实性能强相关，优于NAS-Bench-101/201/301和TransNAS-Bench-101上的15个现有的训练无需度量。SWAP-Score可以通过正则化进一步提高，这导致在基于单元的搜索空间中具有更高的相关性，并且在搜索期间可以进行模型大小控制。例如，在NAS-Bench-201网络上，正则化的SWAP-Score与CIFAR-100验证准确性的Spearman等级相关系数为0.90，显著高于第二好的指标NWOT的0.80。当与NAS的进化算法集成时，我们的SWAP-NAS在大约6分钟和9分钟的GPU时间内在CIFAR-10和ImageNet上实现了竞争性能。

提出一种新的高性能的零成本代理指标——SWAP-Score，用于神经架构搜索中的模型选择

SWAP-Score测量了神经网络在一个输入样本批次上的表达能力，通过正则化可以进一步提高SWAP-Score的性能，实验结果表明SWAP-Score在不同搜索空间和任务中与真实性能强相关

论文提出的SWAP-Score在NAS-Bench-101/201/301和TransNAS-Bench-101数据集中表现优于15种现有的零成本代理指标，与NAS的进化算法相结合，SWAP-NAS在CIFAR-10和ImageNet上的GPU训练时间分别为6分钟和9分钟，实现了竞争性能

最近的相关研究包括NAS-Bench-101/201/301和TransNAS-Bench-101等数据集的研究，以及其他零成本代理指标的提出，如FLOP，LAT等