HASS: Hardware-Aware Sparsity Search for Dataflow DNN Accelerator

深度神经网络（DNN）在学习原始数据（如图像、音频和文本）的分层表示方面表现出色。为了高效地计算这些DNN模型，通常会将它们部署到定制化的硬件加速器上。在各种加速器设计中，数据流架构由于其层级流水线结构和数据并行性的可扩展性而显示出有希望的性能。利用权重和激活稀疏性可以进一步增强存储和计算效率。然而，现有方法专注于在非数据流加速器中利用稀疏性，这不能应用于数据流加速器，因为这会引入大量的硬件设计空间。因此，这可能会错过找到稀疏特征和硬件设计的最佳组合的机会。 在本文中，我们提出了一种新方法，利用软硬件协同优化，利用非结构化权重和激活稀疏性来加速数据流加速器。我们提出了一种名为Hardware-Aware Sparsity Search（HASS）的方法，系统地确定数据流加速器的有效稀疏解决方案。在一组模型上，与现有的稀疏设计相比，我们实现了1.3倍到4.2倍的效率提升，这些设计要么是非数据流的，要么是非硬件感知的。特别地，MobileNetV3的吞吐量可以优化到4895张图片每秒。HASS是开源的：\url{https://github.com/Yu-Zhewen/HASS}。

论文旨在通过软硬件协同优化来利用权重和激活稀疏性，提高数据流加速器的性能和能效。现有的稀疏设计方法主要针对非数据流加速器，无法充分利用数据流加速器的硬件设计空间。

论文提出了一种新的方法——Hardware-Aware Sparsity Search（HASS），通过系统地确定数据流加速器的高效稀疏解决方案，以实现权重和激活稀疏性的利用。相比于现有的非数据流或非硬件感知的稀疏设计，HASS在一系列模型上实现了1.3倍到4.2倍的效率提升。

论文采用开源数据集和代码，实验设计合理，结果表明HASS在提高数据流加速器性能和能效方面具有潜力。值得进一步探究。

在这个领域中，最近还有一些相关研究，例如：Efficient Processing of Deep Neural Networks: A Tutorial and Survey（2019），Energy-efficient neural network accelerators: a review（2020）等。