RA-Rec: An Efficient ID Representation Alignment Framework for LLM-based Recommendation

最近，大型语言模型（LLM）已经成为各种自然语言处理任务的强大工具，带来了将LLM与推荐系统相结合的新浪潮，称为LLM-based RS。目前的方法通常分为两种主要范式，即ID直接使用范式和ID翻译范式，指出它们的核心弱点在于缺乏推荐知识和独特性。为了解决这个限制，我们提出了一种新的范式，即ID表示法，它以一种补充的方式将预训练的ID嵌入到LLM中。在这项工作中，我们提出了RA-Rec，一种高效的ID表示对齐框架，用于基于LLM的推荐，与多个基于ID的方法和LLM架构兼容。具体而言，我们将ID嵌入视为软提示，并设计了一种创新的对齐模块和高效的调整方法，以及为对齐量身定制的数据构建。广泛的实验表明，RA-Rec明显优于当前最先进的方法，最高可实现3.0%的HitRate@100绝对改进，同时使用不到10倍的训练数据。

本论文旨在解决当前基于大型语言模型的推荐系统（LLM-based RS）存在的推荐知识和独特性不足的问题，提出了一种新的ID表示范式，即ID representation，将预训练的ID嵌入到LLMs中。

该论文的关键思路是将ID嵌入到LLMs中，从而提高推荐系统的独特性和推荐知识。具体地，使用ID嵌入作为软提示，并设计了一种创新的对齐模块和高效的调整方法。

论文提出的RA-Rec框架在多个ID-based方法和LLM架构上都具有良好的兼容性，并在实验中取得了显著的提升。实验使用的数据集包括MovieLens-1M、Amazon-Books和Last.FM，并且开放了源代码。

最近在这个领域中，还有一些相关的研究，例如《BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer》和《Neural Collaborative Filtering vs. Matrix Factorization Revisited》。