PowerInfer-2: Fast Large Language Model Inference on a Smartphone

本文介绍了PowerInfer-2，这是一个专为智能手机上的大型语言模型（LLMs）进行高速推理而设计的框架，特别适用于模型大小超过设备内存容量的情况。PowerInfer-2的关键是利用智能手机中异构计算、内存和I/O资源，通过将传统的矩阵计算分解为细粒度的神经元簇计算来实现。具体来说，PowerInfer-2具有多态神经元引擎，可以适应LLM推理的各个阶段的计算策略。此外，它引入了分段神经元缓存和细粒度神经元簇级流水线，有效地最小化和隐藏了I/O操作引起的开销。PowerInfer-2的实现和评估证明了它支持广泛的LLM模型，并在两个智能手机上实现了高达29.2倍的速度增长，比现有的框架更快。值得注意的是，PowerInfer-2是第一个在智能手机上支持TurboSparse-Mixtral-47B模型的系统，其生成速率为每秒11.68个标记。对于完全适合内存的模型，PowerInfer-2可以实现约40%的内存使用减少，同时保持与llama.cpp和MLC-LLM相当的推理速度。更多细节，包括演示视频，请访问项目网站www.powerinfer.ai/v2。

PowerInfer-2旨在解决在智能手机上高速推理大型语言模型的问题，特别是对于超出设备内存容量的模型。

PowerInfer-2利用智能手机的异构计算、内存和I/O资源，通过将传统的矩阵计算分解为细粒度的神经元簇计算，实现高效推理。

PowerInfer-2具有多态神经元引擎，适应各种LLM推理阶段的计算策略。此外，它引入了分段神经元缓存和细粒度神经元簇级流水线，有效地减少和掩盖了I/O操作带来的开销。实验结果表明，PowerInfer-2能够在两个智能手机上支持各种LLM模型，相比最先进的框架，实现了高达29.2倍的速度提升。对于完全适合内存的模型，PowerInfer-2可以实现约40%的内存使用减少，同时保持与llama.cpp和MLC-LLM相当的推理速度。

在这个领域中，最近的相关研究包括Megatron、GShard等。