Tryage: Real-time, intelligent Routing of User Prompts to Large Language Model

解决问题：论文旨在解决使用大量的语言模型时，用户在选择和优化模型时面临的困难，包括计算、安全和时效性等问题。Tryage提出了一种上下文感知的路由系统，帮助用户从模型库中选择最优的专家模型。

关键思路：Tryage使用类似于大脑中的丘脑路由器的感知路由器来预测下游模型对输入提示的性能，并使用目标函数进行路由决策，该函数将性能预测与用户目标和约束（例如模型大小、模型时效性）相结合。Tryage允许用户探索Pareto前沿并自动权衡任务准确性和次要目标，包括模型大小、时效性、安全性、冗余性和可读性等。相比当前领域的研究，Tryage的思路在于使用感知路由器进行动态模型选择，从而提高使用大量语言模型的效率。

其他亮点：Tryage在包括代码、文本、临床数据和专利在内的异构数据集上进行了实验，表现优于Gorilla和GPT3.5 Turbo，准确率达到50.9%，而GPT 3.5 Turbo和Gorilla的准确率分别为23.6%和10.8%。Tryage的实验使用开源的Hugging Face生态系统中的模型库，值得进一步研究和探索。

相关研究：近期的相关研究包括：

  • "GPT-3: Language Models are Few-Shot Learners"，作者为Tom B. Brown等，机构为OpenAI。
  • "XLNet: Generalized Autoregressive Pretraining for Language Understanding"，作者为Zhilin Yang等，机构为Carnegie Mellon University和Google。
  • "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding"，作者为Jacob Devlin等，机构为Google。

论文摘要：本文介绍了一种上下文感知的路由系统Tryage，它利用语言模型路由器根据对单个输入提示的分析来从模型库中选择最佳专家模型。Tryage采用了一个感知路由器来预测下游模型在提示上的性能，然后使用一个目标函数进行路由决策，该函数将性能预测与用户目标和通过标志（例如模型大小、模型新鲜度）纳入的约束条件相结合。Tryage允许用户探索帕累托前沿，并自动权衡任务准确性和次要目标，包括模型大小、新鲜度、安全性、冗长性和可读性的最小化。在包括代码、文本、临床数据和专利在内的异构数据集上，Tryage框架在动态模型选择方面超越了Gorilla和GPT3.5 turbo，识别出准确率为50.9%的最佳模型，而GPT 3.5 Turbo只有23.6%，Gorilla只有10.8%。从概念上讲，Tryage展示了如何应用路由模型来编程和控制多模型LLM系统的行为，以最大限度地利用不断扩大和发展的语言模型生态系统。

内容中包含的图片若涉及版权问题，请及时与我们联系删除