RouteLLM: Learning to Route LLMs with Preference Data

大型语言模型（LLMs）在各种任务中展现出了惊人的能力，但选择使用哪种模型往往涉及性能和成本之间的权衡。更强大的模型虽然有效，但成本更高，而能力较弱的模型则更具成本效益。为了解决这个困境，我们提出了几种高效的路由模型，在推理过程中动态选择更强或更弱的LLM，旨在优化成本和响应质量之间的平衡。我们开发了一个训练框架，利用人类偏好数据和数据增强技术来提高性能。我们在广泛认可的基准测试中进行评估，结果显示我们的方法显著降低了成本，在某些情况下降低了2倍以上，而不会影响响应质量。有趣的是，我们的路由器模型还展示了显著的迁移学习能力，即使在测试时更改强弱模型，它们的性能仍然保持不变。这凸显了这些路由器为部署LLMs提供成本效益高且性能高的解决方案的潜力。

本文旨在解决在使用大型语言模型时，性能和成本之间的平衡问题。

提出了几种高效的路由器模型，它们在推理时动态选择强大或弱小的LLM，以优化成本和响应质量之间的平衡。

使用人类偏好数据和数据增强技术开发了这些路由器的训练框架，评估表明该方法显著降低了成本，而不影响响应的质量。此外，该模型还展示了显著的迁移学习能力。

相关研究包括使用不同的预训练模型来解决成本问题，以及使用动态集成来提高性能和效率。相关论文包括《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》和《Dynamic Integration of Longformer for Open-domain Question Answering》等。