Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch

目前深度神经网络（DNN）剪枝技术通常涉及复杂的多步骤过程，需要领域专业知识，因此广泛采用具有挑战性。为解决这一限制，本文提出了Only-Train-Once（OTO）和OTOv2，它们通过直接从头开始训练和压缩通用DNN来消除额外的微调步骤的需求。然而，OTO的优化器的静态设计可能导致局部最优解的收敛问题。在本文中，我们提出了Auto-Train-Once（ATO），这是一种创新的网络剪枝算法，旨在自动减少DNN的计算和存储成本。在模型训练阶段，我们的方法不仅训练目标模型，还利用控制器网络作为架构生成器来指导目标模型权重的学习。此外，我们开发了一种新颖的随机梯度算法，增强了模型训练和控制器网络训练之间的协调，从而提高了剪枝性能。我们提供了全面的收敛分析和广泛的实验，结果表明，我们的方法在各种模型架构（包括ResNet18、ResNet34、ResNet50、ResNet56和MobileNetv2）和标准基准数据集（CIFAR-10、CIFAR-100和ImageNet）上实现了最先进的性能。

提出了一种名为Auto-Train-Once（ATO）的神经网络剪枝算法，旨在自动降低DNN的计算和存储成本。

在模型训练阶段，ATO算法不仅训练目标模型，还利用控制器网络作为架构生成器来指导目标模型权重的学习，并开发了一种新颖的随机梯度算法来提高修剪性能。

论文提供了全面的收敛性分析和广泛的实验，结果表明，ATO算法在各种模型体系结构（包括ResNet18，ResNet34，ResNet50，ResNet56和MobileNetv2）和标准基准数据集（CIFAR-10，CIFAR-100和ImageNet）上实现了最先进的性能。

最近的相关研究包括Deep Compression，Dynamic Network Surgery和AMC等。