Knowledge-Augmented Large Language Models for Personalized Contextual Query Suggestion

大型语言模型（LLMs）擅长处理各种自然语言任务。然而，由于重新训练或微调它们所涉及的显著成本，它们仍然基本上是静态的，难以个性化。尽管如此，许多应用程序可以从定制用户偏好、目标和知识的生成中受益。其中之一是网络搜索，了解用户试图完成什么、他们关心什么以及他们知道什么可以带来改进的搜索体验。在这项工作中，我们提出了一种新颖且通用的方法，通过从用户与搜索引擎的交互历史中增加相关上下文来个性化其输出，从而增强LLM。具体而言，我们为每个用户构建一个以实体为中心的知识存储，基于他们在网络上的搜索和浏览活动，然后利用它来提供上下文相关的LLM提示增强。这个知识库是轻量级的，因为它只产生用户特定的兴趣和知识对公共知识图的聚合投影，并利用现有的搜索日志基础设施，从而缓解了构建深度用户个人资料以进行个性化的隐私、合规和可扩展性问题。然后，我们在上下文查询建议的任务上验证了我们的方法，这需要理解用户当前的搜索上下文以及他们历史上知道和关心什么。通过一系列基于人类评估的实验，我们展示了我们的方法明显优于几个其他基于LLM的基线，生成上下文相关、个性化和有用的查询建议。

论文旨在提出一种新的方法，通过利用用户与搜索引擎的交互历史，从而个性化生成上下文相关的搜索建议，以改善网络搜索体验。

论文的关键思路是构建一个针对每个用户的实体中心化知识库，该知识库基于用户在Web上的搜索和浏览活动，并利用现有的搜索日志基础设施，从而提供上下文相关的LLM提示增强。

论文的实验结果表明，相较于其他LLM-powered基线，该方法生成的查询建议在上下文相关性、个性化程度和实用性方面都更好。此外，该知识库是轻量级的，只会将兴趣和知识的用户特定投影到公共知识图上，从而减轻了构建深度用户个人资料以进行个性化的隐私、合规和可扩展性问题。

近年来，该领域的相关研究包括《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》、《XLNet: Generalized Autoregressive Pretraining for Language Understanding》等。