LARR: Large Language Model Aided Real-time Scene Recommendation with Semantic Understanding

点击率预测对于推荐系统来说非常关键，旨在为用户提供个性化的推荐服务，例如食品配送、电子商务等方面。然而，传统的推荐系统依赖于协同信号，缺乏对实时场景的语义理解。我们还注意到，利用大型语言模型（LLMs）进行实际推荐目的的主要挑战是它们在处理长文本输入方面的效率。为了突破上述问题，我们提出了基于大型语言模型的实时场景推荐（LARR），采用LLMs进行语义理解，在不需要LLM直接处理整个实时场景文本的情况下，利用RS中的实时场景信息，从而增强了基于LLM的CTR建模的效率。具体而言，推荐领域特定的知识被注入到LLM中，然后RS采用聚合编码器从分离的LLM输出中构建实时场景信息。首先，LLM在带有特殊标记的推荐数据语料库上进行持续预训练。随后，LLM通过对三种样本构建策略进行对比学习进行微调。通过这一步骤，LLM被转化为文本嵌入模型。最后，LLM的不同场景特征的分离输出由编码器聚合，与RS中的协同信号对齐，增强了推荐模型的性能。

本论文旨在解决传统推荐系统中缺乏语义理解的问题，同时提高大型语言模型在实时场景推荐中的效率。

论文提出了一种基于大型语言模型的实时场景推荐方法，通过向模型注入领域特定知识，并利用聚合编码器从分离的大型语言模型输出中构建实时场景信息，从而提高推荐模型的性能。

论文通过连续预训练和对比学习等方法，将大型语言模型转化为文本嵌入模型，从而提高了推荐模型的效率。实验结果表明，该方法相比传统推荐方法有着更好的性能表现。

在这个领域中，最近的相关研究包括《BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer》和《Real-time Personalization using Embeddings for Search Ranking at Airbnb》等。