einspace: Searching for Neural Architectures from Fundamental Operations

神经架构搜索（NAS）可以为给定任务找到高性能的网络。然而，NAS的结果相当平淡；例如，它们没有将卷积结构转换为Transformer。这不仅仅是因为NAS中的搜索空间通常不足以事先包括这种转换。相反，为了使NAS具有更大的潜力进行基本设计变革，我们需要一种新颖的表达搜索空间设计，该设计是基于更基本的操作构建的。为此，我们引入了einspace，这是一个基于参数化的概率上下文无关文法的搜索空间。我们的空间非常灵活，支持各种大小和复杂度的架构，并包含多种网络操作，使其能够模拟卷积、注意力组件等。它包含许多现有的竞争架构，并为发现新架构提供了灵活性。使用这个搜索空间，我们进行了实验，以找到新的架构以及改进现有架构在不同的Unseen NAS数据集上。我们展示了通过从头开始搜索可以获得竞争性的架构，并且当初始化搜索强基线时，我们一直找到了大的改进。我们相信，这项工作是朝着一个变革性的NAS范例迈进的重要进展，其中搜索空间表达和战略搜索初始化起着关键作用。

如何设计一个更具表现力的搜索空间，以便使用NAS找到更具创新性的神经网络结构？

基于参数化的概率上下文无关文法，构建一个名为einspace的搜索空间，支持各种大小和复杂度的结构，并包含多样的网络操作，如卷积和注意力机制等。利用该搜索空间，可以从头开始搜索出具有竞争力的新型结构，并在强基线的初始化下获得大幅度的改进。

该搜索空间具有灵活性和多样性，支持各种大小和复杂度的结构，并包含多种网络操作，包括卷积和注意力机制等。在多个数据集上进行实验，证明了该方法的有效性和优越性。论文提供了开源代码。

最近的相关研究包括：AutoML、DARTS、ENAS等。