Masked Autoencoders Are Robust Neural Architecture Search Learners

本文提出了一种基于掩蔽自编码器（MAE）的新型神经架构搜索（NAS）框架，该框架在搜索过程中消除了对标记数据的需求，而标记数据获取既昂贵又耗时。通过将监督学习目标替换为图像重构任务，我们的方法使得能够在不影响性能和泛化能力的情况下强大地发现网络架构。此外，我们通过引入多尺度解码器解决了在无监督范式下使用的广泛使用的可微分架构搜索（DARTS）方法遇到的性能崩溃问题。通过在各种搜索空间和数据集上进行大量实验，我们证明了所提出的方法的有效性和鲁棒性，并提供了实证证据，证明其优于基线方法。

该论文旨在解决神经架构搜索（NAS）需要大量标记数据的问题，提出了一种基于掩蔽自编码器（MAE）的NAS框架，可以在搜索过程中消除对标记数据的需求。

该论文的关键思路是通过用图像重建任务替换监督学习目标来发现网络架构，从而实现无需标记数据的NAS。

该论文提出的方法在多个搜索空间和数据集上进行了广泛实验，证明了其优越性和鲁棒性。此外，该方法还解决了无监督范式下广泛使用的可微分架构搜索（DARTS）方法中的性能崩溃问题，引入了多尺度解码器。该论文的代码已经开源。

最近在NAS领域中，还有一些相关的研究，如ENAS、DARTS、ProxylessNAS等。