Rapid Deployment of DNNs for Edge Computing via Structured Pruning at Initialization

边缘机器学习（ML）能够在设备上对数据进行本地化处理，并以深度神经网络（DNN）为基础。然而，由于DNN需要大量的计算、内存和能量才能提供与基于云的ML相当的性能，因此无法轻松地在设备上运行。因此，已经考虑了模型压缩技术，例如剪枝。现有的剪枝方法对于边缘ML存在问题，因为它们：（1）使用非结构化剪枝创建具有有限运行时性能优势的压缩模型，或者牺牲最终模型的准确性（使用结构化剪枝），（2）需要大量计算资源和时间来识别合适的压缩DNN模型（使用神经架构搜索）。在本文中，我们探索一种新的途径，称为初始化剪枝（PaI），使用结构化剪枝来减轻上述问题。我们开发了Reconvene，一个系统，使用结构化PaI快速生成适用于边缘部署的剪枝模型。Reconvene系统地识别和剪枝最不敏感于结构化剪枝的DNN卷积层。Reconvene可以在几秒钟内快速创建剪枝DNN，其大小最多减小16.21倍，速度提高2倍，同时保持与非结构化PaI对应模型相同的准确性。

如何在边缘设备上运行深度神经网络模型，同时保证模型的性能和准确性？

使用结构化剪枝技术，通过Pruning-at-Initialization（PaI）方法快速生成适合边缘部署的压缩模型，并保持与未压缩模型相同的准确性。

论文提出了一种新的结构化剪枝方法，可以快速生成适合边缘部署的压缩模型，同时保持与未压缩模型相同的准确性。实验结果表明，使用该方法生成的压缩模型比使用非结构化剪枝方法生成的模型更小、更快，并且准确性相同。论文还开源了他们的代码和数据集。

相关研究包括使用非结构化剪枝方法进行模型压缩，以及使用神经结构搜索方法生成适合边缘部署的模型。其中一些相关研究的论文标题包括：“Learning both Weights and Connections for Efficient Neural Networks”和“ProxylessNAS: Direct Neural Architecture Search on Target Task and Hardware”。