ARTEMIS: A Mixed Analog-Stochastic In-DRAM Accelerator for Transformer Neural Networks

Transformer已经成为自然语言处理(NLP)和计算机视觉的强大工具。通过注意力机制，这些模型在与传统方法如循环神经网络(RNNs)和卷积神经网络(CNNs)相比时表现出了显著的性能提升。然而，由于计算量大和内存占用量大，transformer通常需要大量的执行时间。在内存中处理(PIM)和近存计算(NMC)是加速transformer的有前途的解决方案，因为它们提供高计算并行性和内存带宽。然而，设计PIM/NMC架构以支持transformer神经网络中需要在层之间移动的复杂操作和大量数据仍然是一个挑战。我们提出了ARTEMIS，一种用于transformer模型的混合模拟-随机DRAM加速器。通过对传统DRAM阵列进行最小更改，ARTEMIS通过使用一种新型的金属-金属电容器支持随机计算和时间模拟累积，有效地减轻了与transformer模型执行相关的成本。我们的分析表明，与GPU、TPU、CPU和最先进的PIM transformer硬件加速器相比，ARTEMIS表现出至少3.0倍的加速，1.8倍的能量消耗更低和1.9倍的能量效率更高。

如何加速transformer模型的执行时间和降低能耗？

提出了一种基于PIM架构的混合模拟-随机DRAM加速器ARTEMIS，通过支持随机计算和时间模拟累加来加速transformer模型的执行时间和降低能耗。

ARTEMIS相比GPU、TPU、CPU和最先进的PIM transformer硬件加速器，具有至少3.0倍的加速比、1.8倍的能量降低和1.9倍的能量效率提高。

最近的相关研究包括PIM和NMC加速器的设计和应用，以及transformer模型的优化和加速技术的研究。