Hardware Acceleration of LLMs: A comprehensive survey and comparison

本文介绍了大型语言模型（LLMs）作为自然语言处理任务的强大工具，其能够理解和生成类似人类的文本，从而革新了该领域。本文提出了一项综合调查，涵盖了多个研究方向，旨在通过使用硬件加速器来加快大型语言模型中的变压器网络。该调查介绍了已经提出的框架，并进行了定性和定量比较，包括技术、处理平台（FPGA、ASIC、In-Memory、GPU）、加速比、能效、性能（GOPs）以及能效（GOPs/W）。比较的主要挑战在于每个提出的方案都是在不同的工艺技术上实现的，因此很难进行公平比较。本文的主要贡献在于将性能和能效的结果推广到相同的工艺技术上，以进行公平比较；一种是理论的，另一种是更实际的。我们在多个FPGA芯片上实现了部分LLMs，以将结果推广到相同的工艺技术上，然后进行了性能的公平比较。

加速大型语言模型的transformer网络的硬件加速器研究

对使用硬件加速器加速transformer网络的多种方案进行综述和比较，提出了一种公平的比较方法

论文综述了多种使用FPGA、ASIC、In-Memory、GPU等平台加速transformer网络的方案，并提出了一种公平的比较方法，论文还进行了实验并开源了代码

最近的相关研究包括《Training Deep Transformer Models for Machine Translation》、《Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism》等