Customizing Language Models with Instance-wise LoRA for Sequential Recommendation

顺序推荐系统通过分析过去的互动，将推荐与个人偏好相匹配，预测用户下一个感兴趣的物品。最近的方法利用大型语言模型（LLMs）在知识理解和推理方面的优势，通过语言生成范例将LLMs应用于顺序推荐。这些方法将用户行为序列转换为LLM微调的提示，利用低秩适应（LoRA）模块来精炼推荐。然而，LoRA在各种用户行为上的统一应用有时无法捕捉个体差异，导致性能不佳和不同序列之间的负迁移。为了解决这些挑战，我们提出了实例化的LoRA（iLoRA），将LoRA与专家混合（MoE）框架相结合。iLoRA创建了一个多样化的专家数组，每个专家都捕捉用户偏好的特定方面，并引入一个序列表示引导门函数。这个门函数处理历史互动序列，生成丰富的表示，引导门控网络输出定制的专家参与权重。这种定制化的方法可以缓解负迁移，并动态地调整到不同的行为模式。在三个基准数据集上进行的大量实验表明，iLoRA的有效性，突出了它在捕捉用户特定偏好和提高推荐准确性方面相对于现有方法的卓越表现。

如何解决在基于序列的推荐系统中，由于用户行为的多样性而导致的推荐准确性下降和负面传递问题？

提出了一种新的方法iLoRA，将Low-Rank Adaptation (LoRA)模块与Mixture of Experts (MoE)框架相结合，通过引入序列表示引导门函数来生成丰富的表示，动态地调整到不同的行为模式，从而解决这些问题。

该方法在三个基准数据集上进行了广泛的实验，证明了其相对于现有方法在捕捉用户特定偏好和提高推荐准确性方面的优越性。值得关注的是，该方法使用了语言生成范例，结合了大型语言模型的知识理解和推理能力。

最近的相关研究包括使用LSTM模型的序列推荐方法，以及使用Transformer模型的序列推荐方法。