Towards Boosting LLMs-driven Relevance Modeling with Progressive Retrieved Behavior-augmented Prompting

相关性建模是提高搜索引擎用户体验的关键组成部分，其主要目标是识别与用户查询相符的项目。传统模型仅依赖于查询和项目之间的语义一致性来确定相关性。然而，这种方法仅代表相关性判断的一个方面，在孤立的情况下是不足够的。即使是功能强大的大型语言模型（LLMs）也无法从语义角度准确判断查询和项目的相关性。为了增强LLMs驱动的相关性建模，本研究提出利用搜索日志中记录的用户交互来获得对用户隐含搜索意图的洞见。挑战在于有效促使LLMs捕捉动态搜索意图，这在现实世界的相关性场景中存在几个障碍，即缺乏特定领域的知识，孤立提示的不足以及部署LLMs的成本过高。为此，我们提出了ProRBP，一种新颖的渐进式检索行为增强提示框架，用于有效地将搜索场景导向的知识与LLMs集成。具体而言，我们从日常搜索日志中执行用户驱动的行为邻居检索，以及时获取特定领域的知识，检索用户认为符合其期望的候选项。然后，我们通过采用先进的提示技术来引导LLMs进行相关性建模，逐步改善LLMs的输出，随后通过综合考虑多个方面进行渐进式聚合。对于在线服务，我们开发了一个工业应用框架，专门用于部署LLMs进行相关性建模。在真实世界的行业数据和在线A/B测试中的实验表明，我们的提议取得了有希望的性能。

提高搜索引擎用户体验中的相关性建模，通过结合用户行为记录和大型语言模型来捕捉用户的隐含搜索意图

使用Progressive Retrieved Behavior-augmented Prompting（ProRBP）框架，结合搜索日志中的用户行为邻居检索和大型语言模型逐步提高相关性建模的准确性

使用实际的工业数据和在线A/B测试验证了该框架的有效性，开发了专门的工业应用框架以部署大型语言模型

最近的相关研究包括：《Beyond Ranking: Optimizing Whole-Page Presentation》、《Learning to Match Using Local and Distributed Representations of Text for Web Search》等