SWAP-NAS: Sample-Wise Activation Patterns For Ultra-Fast NAS

本文介绍了训练免费度量（也称为零成本代理）的广泛应用，以避免资源密集型的神经网络训练，特别是在神经架构搜索（NAS）中。最近的研究表明，现有的训练免费度量存在一些限制，例如在不同的搜索空间和任务中具有有限的相关性和较差的泛化能力。因此，我们提出了一种新颖的高性能训练免费度量——样本级激活模式及其衍生物SWAP-Score。它衡量了网络在一批输入样本上的表现能力。SWAP-Score在各种搜索空间和任务中与真实表现强相关，优于15种现有的训练免费度量，包括NAS-Bench-101/201/301和TransNAS-Bench-101。通过正则化，可以进一步提高SWAP-Score的性能，从而在基于单元的搜索空间中实现更高的相关性，并在搜索期间实现模型大小的控制。例如，在NAS-Bench-201网络上，正则化SWAP-Score和CIFAR-100验证准确性之间的Spearman等级相关系数为0.90，明显高于第二好的度量NWOT的0.80。当与NAS的进化算法集成时，我们的SWAP-NAS在约6分钟和9分钟的GPU时间内实现了CIFAR-10和ImageNet上的竞争性表现。

论文旨在提出一种高性能的零成本代理指标，以解决现有训练免费指标的限制性问题，如在不同搜索空间和任务之间的有限相关性和差的泛化能力。

论文提出了一种名为SWAP-Score的新型高性能训练免费指标，它衡量了网络在一批输入样本上的表达能力。SWAP-Score与各种搜索空间和任务中的真实性能强相关，并在NAS-Bench-101/201/301和TransNAS-Bench-101上优于15个现有的训练免费指标。

论文提出的SWAP-Score可以通过规则化进一步增强，从而在基于单元的搜索空间中实现更高的相关性，并在搜索过程中实现模型大小控制。SWAP-Score与NAS的进化算法相结合，在CIFAR-10和ImageNet上实现了竞争性能。

最近在这个领域中，还有一些相关研究，如NWOT。