BLADE: Enhancing Black-box Large Language Models with Small Domain-Specific Models

大型语言模型（LLMs）如ChatGPT和GPT-4具有多功能性和处理各种任务的能力。然而，基于开放领域数据开发的通用LLMs可能缺乏垂直领域（如法律、医学等）任务所必需的领域特定知识。为了解决这个问题，以前的方法要么使用领域特定数据进行连续预训练，要么使用检索增强来支持通用LLMs。不幸的是，这些策略在实际应用中要么成本高昂，要么不可靠。因此，我们提出了一个名为BLADE的新框架，它通过小的领域特定模型增强黑盒大型语言模型。BLADE由黑盒LLM和小的领域特定LM组成。小的LM保留领域特定知识并提供专业见解，而通用LLM则提供强大的语言理解和推理能力。具体而言，我们的方法包括三个步骤：1）使用领域特定数据预训练小的LM，2）使用知识指导数据对该模型进行微调，3）联合贝叶斯优化通用LLM和小的LM。在公共法律和医学基准测试中进行的广泛实验表明，BLADE明显优于现有方法。这表明BLADE有望成为适应垂直领域的通用LLMs的有效和经济的解决方案。

论文旨在解决通用语言模型在垂直领域（如法律、医学等）中缺乏领域特定知识的问题，提出了一种名为BLADE的框架来增强通用语言模型。

BLADE框架由一个通用语言模型和一个小型领域特定语言模型组成，通过预训练和知识指导数据的微调以及联合贝叶斯优化来提高模型性能。

BLADE框架在公共法律和医学基准测试中表现出比现有方法更好的性能，可以成为一种有效且成本效益高的解决方案。

与该论文相关的研究包括使用领域特定数据进行持续预训练或使用检索增强来支持通用语言模型的方法。