Lifelong Personalized Low-Rank Adaptation of Large Language Models for Recommendation

我们主要关注最近积极探索的大型语言模型（LLMs）在推荐领域中的应用，这在有效增强具有逻辑推理能力和开放世界知识的推荐系统方面提出了重大挑战。目前主流的努力主要集中在通过定制输入模板或在预测层次上对语义和推荐空间进行表示的对齐，将推荐模型中的个性化信息注入LLMs中。然而，它们面临三个重大限制：（1）现有工作主要将LoRA作为核心组件，但个性化在LoRA参数中并未得到很好的建立，因为每个用户共享的LoRA矩阵可能无法满足不同用户的特点，导致性能不佳。 （2）尽管终身个性化行为序列对于个性化来说是理想的，但它们的使用会引起效率和效果问题，因为LLMs需要不断增加的训练和推理时间来扩展文本长度。 （3）由于训练效率的限制，现有方法在大型数据集上不具有可扩展性。因此，LLMs只能看到数据集的一小部分（例如不到10％），而不是整个数据集，从而限制了它们对完整训练空间的暴露。为了解决这些问题，我们提出了RecLoRA。该模型结合了个性化LoRA模块，为不同用户维护独立的LoRAs，以及长短模态检索器，为不同的模态检索不同的历史长度，从而显着提高了性能，同时增加了最小的时间成本。此外，我们设计了Few2Many学习策略，使用传统的推荐模型作为放大小训练空间到完整空间的镜头。对公共数据集进行的广泛实验表明，与现有基线模型相比，我们的RecLoRA具有显著的效果。

本论文旨在解决推荐系统中的逻辑推理能力和开放世界知识的有效增强问题。现有的方法存在个性化不足、训练和推理时间长、数据集规模不够等问题。

本文提出了一种名为RecLoRA的模型，采用个性化LoRA模块和长短模态检索器，为不同用户维护独立的LoRA，并检索不同的历史长度，从而显著提高性能。

论文在公共数据集上进行了广泛的实验，证明了RecLoRA相对于现有基线模型的有效性。值得关注的是，本文提出的Few2Many Learning Strategy可以将小型训练空间放大到整个空间，具有很强的可扩展性。

在该领域的相关研究包括：injecting personalized information from recommendation models into LLMs by customizing input templates or aligning representations between semantic and recommendation spaces at the prediction layer等。