ID-centric Pre-training for Recommendation

经典的顺序推荐模型通常采用ID嵌入来存储从用户历史行为中学习到的知识并表示物品。然而，这些唯一的ID很难转移到新领域。随着预训练语言模型（PLM）的兴起，一些先驱性工作采用PLM进行预训练推荐，其中通过PLM，模态信息（例如文本）被认为是跨领域通用的。不幸的是，在基于PLM的推荐模型中，ID嵌入中的行为信息仍然被证明是占主导地位的，而模态信息则受到限制，从而限制了这些模型的性能。在这项工作中，我们提出了一种新颖的以ID为中心的推荐预训练范式（IDP），它直接将在预训练领域中学习到的信息丰富的ID嵌入传递到新领域中的物品表示中。具体而言，在预训练阶段，除了基于ID的顺序模型用于推荐外，我们还建立了一个跨领域ID匹配器（CDIM），通过行为和模态信息进行学习。在微调阶段，新领域物品的模态信息被视为由CDIM构建的跨领域桥梁。我们首先利用下游领域物品的文本信息，使用CDIM从预训练领域中检索行为和语义相似的物品。接下来，直接采用这些检索到的预训练ID嵌入来生成下游新物品的嵌入，而不是采用某些文本嵌入。通过对真实世界数据集的广泛实验，包括冷启动和热启动，我们证明了我们提出的模型显著优于所有基线模型。代码将在接受后发布。

本文旨在解决基于预训练语言模型的推荐模型中，由于ID嵌入在新领域中难以传递，导致行为信息在模型中的影响力受到限制的问题。

本文提出了一种新的ID中心的推荐预训练范式(IDP)，通过建立跨域ID匹配器(CDIM)来直接将在预训练域中学习到的信息传递到新域中的项目表示中。

本文的实验结果表明，相比当前领域中的基线模型，IDP能够显著提高推荐性能。此外，本文还开源了代码。

最近在这个领域中，一些研究采用了预训练语言模型来提高推荐性能，如BERT4Rec和SASRec。