Improving LLMs for Recommendation with Out-Of-Vocabulary Tokens

在推荐系统中，通过向量表示来表征用户和物品对于各种任务至关重要。最近的方法尝试通过问答格式将大型语言模型（LLMs）应用于推荐中，其中真实的用户和物品（例如物品编号2024）用词汇表内的标记（例如“item”、“20”、“24”）表示。然而，由于LLMs通常是在自然语言任务上预训练的，这些词汇表内的标记缺乏区分用户和物品的表现力，因此即使在推荐任务上进行微调，也会削弱推荐能力。在本文中，我们探讨了如何在基于LLM的推荐系统中有效地对用户和物品进行标记化。我们强调词汇表外（OOV）标记的作用，声称记忆捕捉用户/物品相关性和OOV标记多样性的OOV标记。通过对历史用户-物品交互的学习表示进行聚类，如果它们具有相似的属性，则使用户/物品组合的表示共享相同的OOV标记。此外，将这些OOV标记整合到LLM的词汇表中，可以更好地区分用户和物品，并在下游任务的微调过程中增强用户-物品关系的捕捉。我们提出的框架在各种下游推荐任务中优于现有的最先进方法。

本论文旨在解决基于语言模型的推荐系统中用户和物品的向量表示不够表达个性化信息的问题。

本论文提出了一种利用词汇外的token来丰富用户和物品的向量表示的方法，并通过聚类将具有相似属性的用户和物品共享相同的词汇外的token。将这些token整合到语言模型的词汇表中，从而提高了模型在推荐任务中的性能。

论文的实验结果表明，提出的方法在多个推荐任务中都优于现有的最先进方法。论文使用了历史用户-物品交互数据进行表示学习和聚类，并在多个数据集上进行了实验。此外，论文还提供了开源代码。

在最近的研究中，也有一些关于利用语言模型进行推荐的工作，例如《BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer》和《XLNet-based Sequential Recommendation with Implicit Feedback》。