HAPI: Hardware-Aware Progressive Inference 论文链接：https://arxiv.org/abs/2008.03997

实验证明，在各种延迟预算范围内，HAPI始终优于替代搜索机制和最新的early-exit方案。并在嵌入式设备上的延迟驱动SLA的轻量级模型上提供了高达5.11倍的加速！作者单位：三星AI中心, 剑桥大学

卷积神经网络（CNN）最近已成为各种AI任务中的最新技术。尽管它们很受欢迎，但CNN推理仍然需要很高的计算成本。越来越多的工作旨在通过利用样本之间分类难度的差异以及在网络的不同阶段提早退出来缓解这种情况。但是，现有的关于early exiting的研究主要集中在训练计划上，而没有考虑用例需求或部署平台。这项工作介绍了HAPI，这是一种通过在推理时共同优化中间出口的位置和early exiting策略来生成高性能early exiting网络的新颖方法。此外，我们提出了一种有效的设计空间探索算法，该算法可以更快地遍历大量替代架构，并生成针对用例需求和目标硬件量身定制的性能最高的设计。定量评估表明，在各种延迟预算范围内，我们的系统始终优于替代搜索机制和最新的early-exit方案。此外，它进一步推动了高度优化的手工制作的早期退出CNN的性能，在嵌入式设备施加的延迟驱动SLA的轻量级模型上提供了高达5.11倍的加速。

内容中包含的图片若涉及版权问题，请及时与我们联系删除