Metron: Holistic Performance Evaluation Framework for LLM Inference Systems

本文介绍了在生产环境中使用大型语言模型（LLMs）可能会产生巨大成本，这促使了推理系统优化的最新进展。目前，这些系统通常使用常规延迟和吞吐量指标（例如TTFT，TBT，标准化延迟和TPOT）进行评估。然而，这些指标无法完全捕捉LLM推理的细微差别，导致对于实时应用程序（如聊天和翻译）至关重要的用户体验的不完整评估。本文首先识别了当前性能指标在评估LLM推理系统时存在的缺陷。然后，我们提出了Metron，这是一个全面的性能评估框架，其中包括流动指数——一种新颖的指标，旨在反映LLM推理过程的复杂性及其对实时用户体验的影响。最后，我们使用Metron评估了各种现有的开源平台和模型服务提供商，并讨论了它们的优点和缺点。Metron可在https://github.com/project-metron/metron上获得。

论文试图解决LLM推理系统评估中当前性能指标无法全面反映实时应用中用户体验的问题。

论文提出了Metron，一个综合性的性能评估框架，包括新颖的fluidity-index指标，旨在更全面地反映LLM推理过程的细节和对实时用户体验的影响。

论文评估了各种现有的开源平台和模型即服务提供商，探讨了它们的优缺点。Metron框架已经在github上开源。

相关研究包括LLM推理系统的优化和性能评估，以及实时应用中用户体验的研究。