Re2LLM: Reflective Reinforcement Large Language Model for Session-based Recommendation

大型语言模型（LLMs）正成为增强会话型推荐（SBR）的有前途的方法，其中基于提示和微调的方法已经被广泛研究，以使LLMs与SBR相适应。然而，前一种方法由于缺乏任务特定的反馈而难以确定引出LLMs正确推理的最佳提示，导致推荐效果不佳。尽管后一种方法试图利用领域特定知识微调LLMs，但它们面临的限制包括高计算成本和依赖开源框架。为了解决这些问题，我们提出了一种反思强化大型语言模型（Re2LLM）用于SBR，有效而高效地指导LLMs专注于更准确的推荐所必需的专业知识。特别是，我们首先设计了反思探索模块，以有效地提取LLMs易于理解和消化的知识。具体而言，我们引导LLMs通过自我反思来检查推荐错误，并构建一个包含提示的知识库（KB），这些提示能够纠正这些错误。为了有效地引出LLMs的正确推理，我们进一步设计了强化利用模块，以训练一个轻量级的检索代理。它学习根据任务特定的反馈从构建的KB中选择提示，这些提示可以作为指导，帮助纠正LLMs的推理，以获得更好的推荐。在多个真实世界数据集上的广泛实验表明，我们的方法始终优于现有的最先进方法。

解决问题的是Session-based Recommendation中缺乏任务特定反馈的问题，导致LLMs推荐不准确

提出了一种Reflective Reinforcement Large Language Model (Re2LLM)的方法，通过自我反思和构建知识库来引导LLMs关注专业知识，同时训练一个轻量级的检索代理来有效地纠正LLMs的推荐错误

论文设计了Reflective Exploration Module和Reinforcement Utilization Module来实现方法，实验表明该方法在多个真实数据集上均优于现有方法

近期的相关研究包括Prompt-based和fine-tuning-based方法，以及其他使用LLMs的SBR方法，例如BERT4Rec、SR-GNN等