Bayesian Optimization with LLM-Based Acquisition Functions for Natural Language Preference Elicitation

在建立有效和个性化的对话推荐（ConvRec）系统中，设计能够在冷启动情况下快速确定用户首选项的偏好获取（PE）方法是一个关键挑战。虽然大型语言模型（LLMs）构成了一种新颖技术，可以实现完全自然语言（NL）PE对话，但我们假设单一的LLM NL-PE方法缺乏多轮、决策论推理，无法有效平衡NL探索和开发用户对任意项目集的偏好。相比之下，传统的贝叶斯优化PE方法定义了理论上的最优PE策略，但未使用NL项目描述或生成NL查询，不切实际地假设用户可以用直接的项目评级和比较来表达偏好。为了克服这两种方法的局限性，我们在贝叶斯优化（BO）框架中制定了NL-PE，旨在生成NL查询，积极征求自然语言反馈，以减少对项目效用的不确定性，以确定最佳推荐。我们在一种新颖的NL-PE算法PEBOL中演示了我们的框架，该算法使用用户偏好话语和NL项目描述之间的自然语言推理（NLI）来维护偏好信念，并使用Thompson抽样（TS）和上置信区间（UCB）等BO策略来引导LLM查询生成。我们在受控实验中对我们的方法进行了数值评估，发现PEBOL在冷启动NL-PE对话的10轮后，与单一的GPT-3.5相比，MAP@10的改进达到了131％，尽管它依赖于一个更小的400M参数NLI模型进行偏好推断。

如何在冷启动环境下，快速确定用户的偏好，以构建有效的个性化对话推荐系统是一个关键挑战。本文试图在贝叶斯优化框架下，将自然语言偏好表达与自然语言物品描述相结合，提出一种NL-PE算法PEBOL，以较小的NLI模型为基础，实现更好的推荐效果。

本文提出了一种将自然语言偏好表达与自然语言物品描述相结合的NL-PE算法PEBOL，采用贝叶斯优化框架，通过生成自然语言查询来主动引导用户反馈，以减少对物品效用的不确定性，找到最佳推荐。

本文提出的PEBOL算法在冷启动NL-PE对话中，相比于GPT-3.5等大型语言模型，可实现高达131%的MAP@10改进。实验结果表明，PEBOL算法在较小的NLI模型基础上，实现了更好的推荐效果。

近年来，贝叶斯优化在偏好表达中的应用越来越受到关注。此外，与本文相关的研究还包括基于深度学习的推荐系统、自然语言处理技术等。