Towards Coarse-to-Fine Evaluation of Inference Efficiency for Large Language Models

在现实世界中，大型语言模型（LLMs）可以作为助手帮助用户完成工作，还可以支持高级应用程序的开发。为了广泛应用LLMs，推理效率是一个重要的问题，在现有的研究中已经得到广泛研究，并提出了许多优化算法和代码库来改进它。然而，用户仍然发现很难比较所有上述方法的有效性并理解其中的基本机制。在这项工作中，我们对各种代码库的推理性能进行了详细的粗到细的分析。为了评估总体有效性，我们检查了两个实际应用程序中的四个使用场景。我们进一步提供了Transformer架构中每个模块的理论和实证的细粒度分析。我们的实验得出了全面的结果，这对研究人员评估代码库和改进推理策略非常有价值。

细粒度分析各种代码库的推理性能，以评估和改进推理策略。

通过对Transformer架构中每个模块的理论和实证分析，提供了全面的实验结果，为研究人员评估代码库和改进推理策略提供了宝贵的参考。

论文针对两个实际应用程序中的四个使用场景进行了评估，使用了多个数据集和优化算法，并提供了开源代码。

最近的相关研究主要集中在推理效率的优化算法和代码库方面，例如Triton、TensorRT和ONNX Runtime等。