许多应用开发者希望在设备上构建集成大型语言模型（LLM）的体验。在苹果芯片上本地运行这些模型，不仅能够利用用户设备的计算能力，实现成本效益高的推理，还能避免数据在第三方服务器之间传输，从而保护用户隐私。然而，由于LLM对内存和处理能力要求较高，需要进行优化以有效利用系统资源。本文详细介绍了如何优化和部署LLM到苹果芯片，以满足实时应用场景的性能需求。以Llama-3.1-8B-Instruct为例，通过使用苹果的Core ML框架及文中所述的优化方法，该模型能够在配备M1 Max芯片的Mac上达到约33 token/s的解码速度。尽管本文聚焦于特定的Llama模型，但其优化策略对其他类似模型也有参考价值。

本专栏通过快照技术转载，仅保留核心内容

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除