MetaLLM: A High-performant and Cost-efficient Dynamic Framework for Wrapping LLMs

机器学习的快速进展带来了许多在各种任务和领域中表现优异的大型语言模型（LLMs）。这些LLMs在计算或定价方面具有不同的能力和成本。由于每个查询的需求可能会有所不同，例如由于查询的领域或其复杂性，因此在应用程序中默认选择一个LLM通常不是最佳选择，无论它是最大的、最昂贵的，甚至是平均测试性能最好的LLM。因此，在应用程序中选择既准确又具有成本效益的正确LLM仍然是一个挑战。在本文中，我们介绍了MetaLLM，这是一个框架，可以动态智能地将每个查询路由到最佳的LLM（在几个可用的LLMs中）进行分类任务，从而实现显着的精度和成本效益的提高。通过将选择问题作为多臂赌博机来框架，MetaLLM在不确定性下平衡了预测精度和成本效率。我们在流行的LLM平台上进行的实验，如OpenAI的GPT模型、Amazon的Titan、Anthropic的Claude和Meta的LLaMa，展示了MetaLLM在实际场景中的有效性，为未来超越分类任务的扩展奠定了基础。

本论文旨在解决在应用中选择最佳的大型语言模型（LLM）以实现高精度和成本效益的问题。由于不同的查询需求可以因查询领域或复杂性而异，因此默认选择一个LLM在应用中通常不是最佳选择。

MetaLLM是一个动态和智能的框架，可以将每个查询路由到最佳的LLM（在多个可用LLM中）以实现分类任务的高精度和成本效益。通过将选择问题作为多臂强盗问题来构建MetaLLM，在不确定性下平衡预测准确性和成本效益。

本论文的亮点在于提出了MetaLLM框架，可以实现在应用中选择最佳的LLM。该框架在多个流行的LLM平台上进行了实验，如OpenAI的GPT模型、Amazon的Titan、Anthropic的Claude和Meta的LLaMa，并展示了其在实际场景中的有效性。

在相关研究方面，最近的研究集中在大型语言模型的发展和应用方面。例如，GPT-3模型在自然语言处理领域的应用得到了广泛关注。此外，还有一些研究关注于如何在不同的LLM之间进行选择，例如AutoML和Neural Architecture Search等。