论文：Dual Graph enhanced Embedding Neural Network for CTR Prediction

下载地址：

https://arxiv.org/pdf/2106.00314.pdf

基于特征交互建模和基于用户兴趣挖掘的方法是两种最流行的方法，已被广泛探索多年，并在点击率预测方面取得了很大进展。然而，基于特征交互的方法严重依赖于不同特征的共现，可能会遇到特征稀疏问题； 基于用户兴趣挖掘的方法，需要丰富的用户行为来获取用户的多样化兴趣，容易遇到行为稀疏问题。

为了解决这些问题，原文提出了一个新的模块命名为 Dual Graph Enhanced Embedding，以分治法(divide-and-conquer) 和课程学习(curriculum-learning) 的思路来改进 Embedding 的初始化以及表征学习 ，配合使用各种 CTR 预测模型来缓解这两个问题。

推荐系统中一条样本包括 用户(u)、商品(v )、用户属性(A_u)、商品属性(  B_v)、用户点击过的商品序列、背景信息 6个部分。

原文重点关注初始化和表征学习阶段的优化，原作者认为，在初始化阶段可以通过 user-user 和 item-item 的相似关系，对每个属性域中的属性特征进行调整，以减轻数据稀疏问题造成的影响。在表征学习阶段阶段，可以进一步利用图关系中 user-user, item-item, user-item 的联系，对用户特征和商品特征进行交叉，进而对用户特征 ，商品特征 ，和点击序列特征 进行调整，流程如下图。

创新点

在图建模的过程中，将建模分阶段为属性图和协同过滤图两个阶段，同时对协同过滤图建模时以分治法和课程学习的思路来改进 Embedding 的初始化以及表征学习，多阶段逐步对 Graph embedding 进行优化。

点评

方法比较有意思，但是实际操作中仍有若干难点：比如配合CTR模型做 Online Learning 时，动态增加 user 和 item 时，图的更新代价很高，较难配合实时增量训练。

同时在实验的对比上有不公平之处：Graph 的增强实际上是一个预训练的过程，弥补了特征工程在建模中的缺失，同时所使用的总计算资源要远远高于对比基线，而对比的数据集是未经特征工程的数据，在经过一定程度特征工程的数据集上的效果未必一致。

内容中包含的图片若涉及版权问题，请及时与我们联系删除