Multi-objective Neural Architecture Search by Learning Search Space Partitions

部署深度学习模型需要考虑神经网络指标，如模型大小、推理延迟和#FLOPs，除了推理准确性。这导致深度学习模型设计者利用多目标优化在多个标准下设计有效的深度神经网络。然而，将多目标优化应用于神经结构搜索（NAS）并不容易，因为NAS任务通常具有巨大的搜索空间，以及非常高的搜索成本。这需要有效的多目标搜索算法来减轻GPU成本。在这项工作中，我们在NAS任务上实现了一种基于最近提出的元算法LaMOO的新型多目标优化器。简而言之，LaMOO通过从观察样本中学习模型来划分搜索空间，然后专注于可能包含Pareto前沿子集的有前途的区域，从而加速搜索过程。使用LaMOO，我们观察到与贝叶斯优化和基于进化的多目标优化器相比，在不同的NAS数据集上提高了超过200%的样本效率。例如，当与LaMOO组合使用时，qEHVI在NasBench201中的样本效率比单独使用qEHVI提高了225%。对于实际任务，LaMOO在仅使用600个搜索样本的情况下，在CIFAR10上实现了97.36％的准确率，仅使用1.62M #Params。在ImageNet上，我们的大型模型仅使用522M #FLOPs即可达到80.4％的top-1准确率。

如何在神经架构搜索任务中应用多目标优化算法以提高搜索效率？

使用基于元算法LaMOO的多目标优化器，通过学习观察样本来划分搜索空间，集中于可能包含Pareto前沿子集的有前途的区域，从而加快搜索过程。

实验表明，与贝叶斯优化和基于进化的多目标优化器相比，使用LaMOO可以提高超过200%的样本效率。在多个NAS数据集上进行实验，LaMOO与qEHVI相结合，相比单独使用qEHVI在NasBench201上的样本效率提高了225%。在CIFAR10上，使用LaMOO只需600个搜索样本即可达到97.36%的准确率，模型参数仅为1.62M #Params。在ImageNet上，大型模型只需522M #FLOPs即可达到80.4%的top-1准确率。

最近的相关研究包括：'Efficient Multi-Objective Neural Architecture Search with Network Morphism'、'Progressive Neural Architecture Search'、'DARTS: Differentiable Architecture Search'等。