Lifelong Personalized Low-Rank Adaptation of Large Language Models for Recommendation

我们主要关注最近积极探索的大型语言模型（LLMs）在推荐领域中的应用，这在有效增强具有逻辑推理能力和开放世界知识的推荐系统方面提出了重大挑战。目前主流的努力主要集中在通过定制输入模板或在预测层中对语义和推荐空间之间的表示进行对齐，将推荐模型中的个性化信息注入LLMs中。然而，它们面临三个重大限制：（1）LoRA主要用作现有工作的核心组件，但个性化在LoRA参数中并不是很好建立，因为由每个用户共享的LoRA矩阵可能无法满足不同用户的特征，从而导致性能不佳。 （2）尽管终身个性化行为序列对于个性化来说是理想的，但它们的使用会引起效率和效果问题，因为LLMs需要不断升级的训练和推理时间来扩展文本长度。 （3）现有方法由于训练效率的限制，在大型数据集上不可扩展。因此，LLMs只能看到数据集的一小部分（例如不到10％），而不是整个数据集，从而限制了它们对完整训练空间的暴露。为了解决这些问题，我们提出了RecLoRA。该模型包括一个个性化LoRA模块，为不同用户维护独立的LoRA，并且一个长短模态检索器，为不同的模态检索不同的历史长度，显着提高了性能，同时增加了最小的时间成本。此外，我们设计了Few2Many学习策略，使用传统的推荐模型作为放大小训练空间到完整空间的镜头。对公共数据集的广泛实验证明了我们的RecLoRA相对于现有基线模型的有效性。

本文旨在解决如何有效地增强推荐系统的逻辑推理能力和开放世界知识，提出了RecLoRA模型。同时，本文还试图解决现有方法中存在的三个主要限制：(1) 个性化信息不足；(2) LLMs需要不断训练和推理时间来扩展文本长度；(3) 现有方法不适用于大数据集。

RecLoRA模型包括个性化LoRA模块和长短模态检索器，为每个用户维护独立的LoRA参数，并针对不同模态检索不同的历史长度，从而显著提高了性能。此外，Few2Many学习策略将传统推荐模型作为放大小训练空间的镜头，使模型能够看到整个训练空间。

本文的实验结果表明，RecLoRA模型相较于现有基线模型具有更好的性能。此外，本文使用了公共数据集进行实验，并开源了代码。

最近在推荐系统领域中，还有一些相关的研究，如《Deep Interest Network for Click-Through Rate Prediction》和《Neural Collaborative Filtering》。