The devil is in discretization discrepancy. Robustifying Differentiable NAS with Single-Stage Searching Protocol

神经架构搜索（NAS）已被广泛采用来设计各种计算机视觉任务的神经网络。其中最有前途的子领域之一是可微分神经架构搜索（DNAS），其中最佳架构以可微分的方式找到。然而，基于梯度的方法受到离散化误差的影响，这可能严重破坏获取最终架构的过程。在我们的工作中，我们首先研究了离散化误差的风险，并展示了它如何影响未正则化的超网络。然后，我们提出惩罚高熵，这是一种常见的架构正则化技术，可以阻碍超网络的性能。因此，为了使DNAS框架更加鲁棒，我们引入了一种新颖的单阶段搜索协议，它不依赖于解码连续架构。我们的结果表明，这种方法在Cityscapes验证数据集的搜索阶段中实现了75.3%的性能，并在不包括短连接的非密集搜索空间中获得比DCNAS最优网络高1.1%的性能。由于重复利用权重，整个训练过程仅需5.5个GPU天，并产生计算效率高的架构。此外，我们提出了一种新的数据集分割程序，它大大提高了DARTS的结果，并防止了架构退化。

解决问题：本论文旨在解决不同iable NAS（DNAS）中离散化误差的问题，并提出一种新的单阶段搜索协议来提高DNAS的鲁棒性。

关键思路：本论文提出了一种新的单阶段搜索协议，不依赖于解码连续体系结构，以提高DNAS的鲁棒性，并且在Cityscapes验证数据集上实现了75.3％的性能。

其他亮点：本论文还提出了一种新的数据集拆分过程，可以显著改善结果，并防止DARTS中的体系结构退化。实验表明，该方法优于其他DNAS方法，并且由于重用权重，整个训练过程只需要5.5 GPU天，并产生计算效率高的体系结构。

相关研究：最近，还有一些相关研究，如DCNAS。