On Latency Predictors for Neural Architecture Search

高效部署神经网络（NN）需要精确度和延迟的协同优化。例如，硬件感知神经架构搜索已被用于自动寻找满足特定硬件设备延迟约束的NN架构。这些搜索算法的核心是一个预测模型，旨在为候选NN架构提供硬件延迟估计。最近的研究表明，这些预测模型的样本效率可以通过在一些训练设备上进行预训练，然后将预测器转移到测试（目标）设备上来大大提高。为此，使用了迁移学习和元学习方法，但往往表现出显著的性能变异。此外，现有延迟预测器的评估主要是在手工制作的训练/测试设备集上进行的，这使得难以确定组成稳健和通用延迟预测器的设计特征。为解决这些问题，我们通过自动分区硬件设备集的方式，引入了一套全面的延迟预测任务。然后，我们设计了一个通用的延迟预测器，以全面研究（1）预测器架构，（2）NN样本选择方法，（3）硬件设备表示和（4）NN操作编码方案。在我们的研究结论的基础上，我们提出了一种端到端的延迟预测器训练策略，该策略在12个困难的延迟预测任务中有11个优于现有方法，平均提高延迟预测22.5％，在最难的任务中提高了87.6％。我们的HW-Aware NAS专注于延迟预测，在墙上时钟时间上获得了5.8倍的加速。我们的代码可在\href {https://github.com/abdelfattah-lab/nasflat_latency}{https://github.com/abdelfattah-lab/nasflat\_latency}上获得。

论文旨在解决神经网络部署中的精度和延迟之间的协同优化问题。通过自动搜索神经网络结构，找到满足特定硬件设备上延迟限制的神经网络架构，其中关键在于设计一个预测模型，为候选神经网络架构提供硬件延迟估计。

论文提出了一种全面的延迟预测任务套件，通过自动分区硬件设备集合来获得，然后设计了一个通用的延迟预测器来全面研究预测器架构、神经网络样本选择方法、硬件设备表示和神经网络操作编码方案。在此基础上，提出了一种端到端的延迟预测器训练策略，该策略在11个困难的延迟预测任务中优于现有方法，平均提高了22.5％的延迟预测能力，在最难的任务中提高了87.6％。同时，论文还提出了一种基于硬件感知的神经网络架构搜索算法，可以实现5.8倍的时钟时间加速。

论文的亮点包括：提出了全面的延迟预测任务套件；设计了通用的延迟预测器；提出了端到端的延迟预测器训练策略；提出了基于硬件感知的神经网络架构搜索算法。实验结果表明，这些方法可以显著提高延迟预测的准确性。论文的代码已经开源，可在GitHub上获取。

最近在这个领域中，还有一些相关的研究，例如《Hardware-Aware Neural Architecture Search for General-Purpose GPUs》、《Neural Architecture Search for Deep Stereo Matching》等。