Knowledge Plugins: Enhancing Large Language Models for Domain-Specific Recommendations

大型语言模型（LLMs）的显著进展为构建各种实际应用的类人系统提供了有希望的机会。然而，当应用于特定任务领域时，预先在通用语料库上训练的LLM可能存在两种类型的特定领域知识的不足或不足。一种是通常是大规模且不断发展的领域数据的全面集合。另一种是反映在数据中的该领域的特定工作模式。这种知识的缺失或不足会影响LLM的性能。在本文中，我们提出了一种通用范式，即DOKE，将特定领域知识与LLMs相结合，以增强它们在实际应用中的性能。这种范式依赖于一个领域知识提取器，分为三个步骤：1）为任务准备有效的知识；2）为每个特定样本选择知识；3）以LLM可理解的方式表达知识。然后，提取的知识通过提示被纳入，而不需要进行模型微调的计算成本。我们在广泛应用的推荐系统上实例化了这个通用范式，即将关键项目属性和协同过滤信号纳入其中。实验结果表明，DOKE可以显著提高LLMs在特定领域的性能。

本论文旨在提出一种增强大型语言模型（LLMs）在特定领域中应用性能的方法，即通过增加领域特定知识来弥补LLMs在特定领域中的不足。

该论文提出了一种名为DOKE的范式，通过领域知识提取器将特定领域的知识无需模型微调即可融入LLMs中，以提高LLMs在特定领域的性能。DOKE的关键思路是提取领域特定知识，并将其转化为LLMs可以理解的提示语，以无需重新训练模型的方式融入LLMs中。

该论文的亮点在于提出了一种通用的方法来增强LLMs在特定领域的性能，同时在推荐系统中进行了实例化。实验结果表明，DOKE可以显著提高LLMs在特定领域中的性能。论文使用了开放的数据集，并提供了开源代码。

近年来，有许多研究致力于提高LLMs在特定领域的性能，如使用领域特定语料库进行微调。相关的研究包括“BERT for Biomedical Text Mining”和“Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing”等。