FlexNN: A Dataflow-aware Flexible Deep Learning Accelerator for Energy-Efficient Edge Devices

本文介绍了一种灵活的神经网络加速器FlexNN，采用敏捷设计原则实现多功能数据流，提高能源效率。与传统的卷积神经网络加速器架构不同，传统架构遵循固定的数据流（如输入、权重、输出或行定向），用于在存储和计算单元之间传输激活和权重。我们的设计通过软件可配置的描述符实现可适应任何类型的数据流，从而实现了革命性的灵活性。考虑到从能源角度来看，数据移动成本相当高，数据流的灵活性使我们能够优化每个层的数据移动，以实现最小的数据传输和能源消耗，这是在固定数据流架构中无法实现的能力。为了进一步提高FlexNN架构的吞吐量和降低能源消耗，我们提出了一种新颖的基于稀疏性的加速逻辑，利用激活和权重张量中的细粒度稀疏性来避免冗余计算，从而优化硬件加速器内的卷积引擎。广泛的实验结果强调了FlexNN相对于现有DNN加速器在性能和能源效率方面的显着提高。

本文旨在介绍FlexNN，一种灵活的神经网络加速器，采用敏捷设计原则，实现多样化的数据流，提高能源效率。相比传统的卷积神经网络加速器架构，其采用可配置的软件描述符实现可适应的数据流，从而优化每层的数据传输和能源消耗。

FlexNN的关键思路在于采用可配置的软件描述符实现可适应的数据流，从而优化每层的数据传输和能源消耗。同时，还采用了一种基于稀疏性的加速逻辑，利用激活和权重张量中的细粒度稀疏性来绕过冗余计算，从而优化硬件加速器内的卷积引擎，进一步提高吞吐量和降低能源消耗。

本文的亮点在于：1.采用可配置的软件描述符实现可适应的数据流，从而优化每层的数据传输和能源消耗；2.采用了一种基于稀疏性的加速逻辑，从而进一步提高吞吐量和降低能源消耗。实验结果表明，相比现有的DNN加速器，FlexNN的性能和能源效率都有显著提高。

在这个领域中，还有一些相关的研究，例如：1.《Eyeriss：一种能够支持深度卷积神经网络的能效高的可重构加速器》；2.《Cnvlutin：一种专门为卷积神经网络设计的定制加速器》；3.《DianNao：一种基于片上异构体系结构的神经网络加速器》等。