Efficient Post-Training Augmentation for Adaptive Inference in Heterogeneous and Distributed IoT Environments

提出了早期退出神经网络（EENNs）来增强神经网络部署的效率。然而，创建EENNs具有挑战性，需要专业领域知识，因为需要大量的额外设计选择。为了解决这个问题，我们提出了一种自动增强流程，专注于将现有模型转换为EENN。它执行了所有必需的设计决策，以部署到异构或分布式硬件目标：我们的框架构建了EENN架构，将其子图映射到硬件目标，并配置了其决策机制。据我们所知，这是第一个能够执行所有这些步骤的框架。 我们在物联网和标准图像分类用例集合上评估了我们的方法。对于语音命令检测任务，我们的解决方案能够将平均每次推理的操作次数减少59.67％。对于ECG分类任务，它能够提前终止所有样本，将平均推理能量减少74.9％，计算减少78.3％。在CIFAR-10上，我们的解决方案能够实现高达58.75％的计算减少。 在CIFAR-10上，对ResNet-152基础模型的搜索仅需不到九个小时，在笔记本电脑CPU上完成。我们提出的方法使得创建针对物联网环境优化的EENN成为可能，可以降低嵌入式和雾平台上深度学习应用程序的推理成本，同时显着降低搜索成本，使其更容易为工业和研究中的科学家和工程师所使用。低搜索成本提高了EENNs的可访问性，有潜力提高神经网络在各种实际应用中的效率。

本论文旨在解决如何将现有的神经网络模型转化为适用于分布式或异构硬件目标的早期退出神经网络（EENN）的问题，以提高神经网络部署的效率。

本文提出了一种自动化增强流程，将现有的神经网络模型转化为EENN，包括构建EENN架构、将其子图映射到硬件目标和配置其决策机制。这种方法能够显著降低神经网络的计算成本和推理能耗，同时降低搜索成本，提高EENN的可访问性。

实验结果表明，在语音命令检测任务上，本文的方法能够将每次推理的平均操作次数减少59.67%。在ECG分类任务上，能够将所有样本的推理能耗降低74.9%，计算量降低78.3%。在CIFAR-10上，能够将计算量降低高达58.75%。此外，本文的方法搜索ResNet-152基础模型的CIFAR-10只需要不到9小时。

与本文相关的研究包括早期退出神经网络、神经网络模型压缩和优化等方面的研究，如《Learning both Weights and Connections for Efficient Neural Networks》、《Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding》等。