DyCE: Dynamic Configurable Exiting for Deep Learning Compression and Scaling

现代深度学习模型需要采用缩放和压缩技术，以便在资源受限的环境中有效部署。大多数现有的技术，如剪枝和量化，通常是静态的。另一方面，动态压缩方法（例如早期退出）通过识别输入样本的难度并根据需要分配计算来减少复杂性。动态方法虽然具有更高的灵活性和与静态方法共存的潜力，但由于动态部分的任何更改都会影响后续处理，因此在实现方面存在显着的挑战。此外，大多数当前的动态压缩设计都是整体式的，并且与基础模型紧密集成，因此使其适应新的基础模型变得更加复杂。本文介绍了DyCE，一种动态可配置的早期退出框架，它将设计考虑因素从彼此和基础模型中分离出来。利用这个框架，各种类型和位置的退出可以根据预定义的配置进行组织，这些配置可以在实时动态切换，以适应不断发展的性能复杂性要求。我们还提出了一些技术，以基于任何所需的性能和计算复杂度之间的权衡生成优化配置。这使未来的研究人员可以专注于改进单个退出，而不会潜在地影响整个系统的性能。通过使用深度CNN进行图像分类任务，证明了这种方法的有效性。DyCE将ResNet152的计算复杂度降低了23.5％，ConvNextv2-tiny的计算复杂度降低了25.9％，而精度降低不到0.5％。此外，DyCE在实时配置和精细化性能调整方面优于现有的动态方法。

本文旨在解决深度学习模型在资源受限环境下的部署问题，提出了一种动态配置早期退出的框架DyCE，以实现性能和计算复杂度的动态平衡。

DyCE框架将动态压缩方法与静态压缩方法相结合，实现了早期退出的动态配置，从而根据实时的性能-复杂度需求进行灵活的计算资源分配。同时，该框架解耦了设计考虑因素与基础模型，可以根据预定义的配置动态切换不同类型和位置的退出，从而实现对个别退出的优化而不影响整体系统性能。

本文通过在ImageNet上的深度CNN图像分类任务中进行实验验证，证明了DyCE框架在减少计算复杂度的同时，对ResNet152和ConvNextv2-tiny的准确率影响不到0.5%。此外，该框架还具有实时配置和细粒度性能调整等优点。

与DyCE相关的研究包括早期退出和压缩技术的静态方法，以及其他动态压缩方法。其中，早期退出技术在以前的研究中已经被证明可以减少计算复杂度，而动态压缩方法则是相对较新的研究方向。