过去这一年，无论是初创公司还是成熟大厂，预告、发布和部署人工智能（AI）和机器学习（ML）加速器的步伐很缓慢。但这并非不合理，对于许多发布加速器报告的公司来说，他们花三到四年的时间研究、分析、设计、验证和对加速器设计的权衡，并构建对加速器进行编程的技术堆栈。对于那些已发布升级版本加速器的公司来说，虽然他们报告的开发周期更短，但至少还是要两三年。这些加速器的重点仍然是加速深层神经网络（DNN）模型，应用场景从极低功耗嵌入式语音识别和图像分类到数据中心大模型训练，典型的市场和应用领域的竞争仍在继续，这是工业公司和技术公司从现代传统计算向机器学习解决方案转变的重要部分。
本文是对 IEEE-HPEC 过去三年论文的一次更新。与过去几年一样，本文继续关注深度神经网络（DNN）和卷积神经网络（CNN）的加速器和处理器，它们的计算量极大。本文主要针对加速器和处理器在推理方面的发展，因为很多 AI/ML 边缘应用极度依赖推理。
论文链接：https://arxiv.org/pdf/2210.04055.pdf
本文针对加速器支持的所有数字精度类型，但对于大多数加速器来说，它们的最佳推理性能是 int8 或 fp16/bf16（IEEE 16 位浮点或 Google 的 16 位 brain float）。
目前，已经有很多探讨 AI 加速器的论文。如本系列调查的第一篇论文就有探讨某些 AI 模型的 FPGA 的峰值性能，之前的调查都深入覆盖了 FPGA，因此不再包含在本次调查中。这项持续调查工作和文章旨在收集一份全面的 AI 加速器列表，包括它们的计算能力、能效以及在嵌入式和数据中心应用中使用加速器的计算效率。与此同时文章主要比较了用于政府和工业传感器和数据处理应用的神经网络加速器。前几年论文中包含的一些加速器和处理器已被排除在今年的调查之外，之所以放弃它们，是因为它们可能已经被同一家公司的新加速器替代、不再维护或者与主题不再相关。
处理器调查
人工智能的许多最新进展部分原因要归功于硬件性能的提升，这使得需要巨大算力的机器学习算法，尤其是 DNN 等网络能够实现。本文的这次调查从公开可用的材料中收集各类信息，包括各种研究论文、技术期刊、公司发布的基准等。虽然还有其他方法获取公司和初创公司（包括那些处于沉默期的公司）的信息，但本文在本次调查时忽略了这些信息，这些数据将在公开后纳入该调查。该公共数据的关键指标如下图所示，其反映了最新的处理器峰值性能与功耗的关系能力（截至 2022 年 7 月）。
图中 x 轴表示峰值功率，y 轴表示每秒峰值千兆操作数（GOps/s），均为对数尺度。处理能力的计算精度用不同几何形状表示，计算精度范围从 int1 到 int32、从 fp16 到 fp64。显示的精度有两种类型，左边代表乘法运算的精度，右边代表累加 / 加运算的精度（如 fp16.32 表示 fp16 乘法和 fp32 累加 / 加）。使用颜色和形状区分不同类型系统和峰值功率。蓝色表示单芯片；橙色表示卡；绿色表示整体系统（单节点桌面和服务器系统）。此次调查仅限于单主板、单内存系统。图中空心几何图形是仅进行推理加速器的最高性能，而实心几何图形代表执行训练和推理的加速器的性能。
本次调查中本文以过去三年调查数据的散点图开篇。下表 1 中本文总结了加速器、卡和整体系统的一些重要元数据，包括图 2 中每个点的标签，许多要点都是从去年的调查中提出来的。
表 1 中大多数AI加速器的技术实现路径大家都了解或有耳闻，比方GPU、multi-core、CPU、FPGA等。但有两个技术条目可能不是：Dataflow 和 PIM，也具有典型性。Dataflow技术流的典型代表是Google的TPU、Intel收购的创业公司Habana、Tesla等都是此流派，而PIM（存内计算）的典型代表如Mythic 和 Gyrfalcon 加速器，则比较小众。
- Dataflow 型处理器：为神经网络推理和训练定制的处理器。由于神经网络训练和推理计算完全确定地构建，因此它们适合 dataflow 处理，其中计算、内存访问和 ALU 间通信被显式 / 静态编程或者布局布线到计算硬件。
这些硬件主要的应用原理是 Systolic Array（脉动列阵），在这种阵列结构中，芯片上的数据按预先确定的“流水线”在计算单元之间流动，这个过程中，所有的处理单元（PE）同时并行地对流经它的数据进行处理，因而它可以达到很高的并行处理速度。
-
内存处理器（PIM）加速器：将处理元素与内存技术集成在一起。本质要解决的是数据通路的数据搬运瓶颈，从主存到processing core的能耗已经占据整个计算系统的62%（https://safari.ethz.ch/projects\_and\_seminars/fall2021/doku.php?id=processing\_in\_memory），出现数据移动瓶颈是因为计算过程中会出现：①不规律的访存；②数据重用率低；③cache行利用率低；④计算强度低（即每Byte的操作数）；⑤大量数据所需容量超出了主存容量。
因此，最直接的想法是尽可能把计算单元和存储放的近一些，或者直接不移动数据，在存储内部完成计算。
而在这些 PIM 加速器中，有一些基于模拟计算技术的加速器，该技术使用就地模拟乘法加法功能增强闪存电路。可以参考 Mythic 和 Gyrfalcon 加速器的相关资料，了解关于此创新技术的更多详细信息。
理想情况下，PIM可以有效消除存储单元与计算单元之间的数据吞吐，且不受能耗比重的制约，从而有效解决冯诺依曼瓶颈。随着内存价格的下降以及依赖固定计算模型的应用的大量出现，PIM越来越受到学界和工业界的重视。
本文根据加速器的预期应用对其进行合理分类，图2用椭圆标识了五类加速器，根据性能和功耗做对应：
- 功耗非常低，传感器非常小的语音处理；
- 嵌入式摄像机、小型无人机和机器人；
- 驾驶辅助系统、自动驾驶和自动机器人；
- 数据中心的芯片和卡；
- 数据中心系统。
大多数加速器的性能、功能等指标都没有改变，可以参阅过去两年的论文以了解相关信息。下面的是没有被过去的文章所收录的加速器。
内容中包含的图片若涉及版权问题，请及时与我们联系删除
评论
沙发等你来抢