ID-centric Pre-training for Recommendation

传统的顺序推荐模型通常采用ID嵌入来存储从用户历史行为中学习到的知识并表示物品。然而，这些唯一的ID很难转移到新的领域。随着预训练语言模型（PLM）的兴起，一些先驱性工作采用了PLM进行预训练推荐，其中模态信息（例如文本）通过PLM被认为是跨领域通用的。不幸的是，与模态信息相比，ID嵌入中的行为信息仍然被证明在基于PLM的推荐模型中占主导地位，从而限制了这些模型的性能。在这项工作中，我们提出了一种新的以ID为中心的推荐预训练范式（IDP），它直接将在预训练领域学习到的信息丰富的ID嵌入转移到新领域中的物品表示。具体而言，在预训练阶段，除了基于ID的顺序推荐模型外，我们还建立了一个通过行为和模态信息学习的跨域ID匹配器（CDIM）。在调整阶段，新领域物品的模态信息被视为由CDIM构建的跨域桥梁。我们首先利用下游领域物品的文本信息，使用CDIM从预训练领域中检索行为和语义相似的物品。接下来，这些检索到的预训练ID嵌入直接被采用来生成下游新物品的嵌入，而不是某些文本嵌入。通过在现实世界数据集上进行广泛的实验，包括冷启动和热启动设置，我们证明了我们提出的模型显著优于所有基线模型。代码将在接受后发布。

本论文旨在解决传统的基于ID嵌入的推荐模型在新领域中难以转移的问题，同时提出了一种新的ID中心的推荐预训练范式（IDP）。

IDP直接将预训练领域中学习到的信息丰富的ID嵌入传递到新领域的物品表示中，通过在预训练阶段构建基于行为和模态信息的跨域ID匹配器（CDIM），在调整阶段使用CDIM构建新领域物品的模态信息作为跨域桥梁，直接采用预训练的ID嵌入生成新领域物品的嵌入。

论文在真实世界的数据集上进行了广泛的实验，包括冷启动和热启动，证明了IDP模型的显著优势。同时，论文提出的CDIM方法也值得关注，该方法结合了行为信息和模态信息，具有广泛的应用前景。论文代码将在接受后发布。

最近的相关研究包括基于预训练语言模型（PLM）的推荐方法，但是这些方法仍然受到ID嵌入中行为信息的限制。