OptLLM: Optimal Assignment of Queries to Large Language Models

大型语言模型（LLMs）因其卓越的能力而受到广泛关注，越来越多的公司提供LLMs作为服务。不同的LLMs在不同的成本下实现不同的性能。用户面临的一个挑战在于选择最符合其需求的LLMs，平衡成本和性能。本文提出了一个框架来解决LLMs的经济查询分配问题。给定一组输入查询和候选LLMs，我们的框架OptLLM为用户提供了一系列最优解，符合其预算限制和性能偏好，包括最大化准确性和最小化成本的选项。OptLLM使用带有不确定性估计的多标签分类模型预测每个查询的候选LLMs的性能，然后通过破坏和重构当前解来迭代生成一组非支配解。为了评估OptLLM的有效性，我们对各种类型的任务进行了广泛的实验，包括文本分类、问答、情感分析、推理和日志解析。我们的实验结果表明，OptLLM在实现与最佳LLM相同的准确性的同时，大大降低了成本，降低了2.40%至49.18%。与其他多目标优化算法相比，OptLLM在相同成本下提高了2.94%至69.05%的准确性，或在保持最高可达准确性的同时节省了8.79%和95.87%的成本。

该论文提出了一个框架来解决大型语言模型的查询分配问题，以实现成本效益。

OptLLM框架通过多标签分类模型和不确定性估计来预测候选LLMs在每个查询上的性能，然后通过破坏和重构当前解决方案来迭代生成一组非支配解决方案。

实验结果表明，OptLLM可以在保持与最佳LLM相同的准确性的同时将成本降低2.40％至49.18％，并且相比其他多目标优化算法，OptLLM在相同成本下提高了2.94％至69.05％的准确性或节省了8.79％和95.87％的成本。

在最近的相关研究中，还有一些使用多目标优化算法来解决大型语言模型成本效益问题的论文，如'Multi-Objective Neural Architecture Search for Language Understanding'和'Cost-Aware Multi-Task Learning for Language Modeling'。