本文主要提出了一个轻量级的图神经网络模型，其通过知识蒸馏技术对目前主流点击率预估模型进行轻量化压缩，在4个点击率预估数据集上的性能与效率均取得了较好效果。

论文地址：https://arxiv.org/pdf/2211.11159.pdf

 点击率预测任务旨在预测用户点击某个商品的概率，是推荐系统中一类非常重要的任务。而点击率预测任务的核心环节是建模特征交互。如何建模高阶交互一直是学术研究的热点，并且有诸多学者设计出了有效的模型结构来显式地建模高阶特征。然而，这些方法通常具有非常高的时间复杂度，往往无法满足大规模工业级场景下的效率要求。因此，点击率预测模型的轻量化成为一个亟待解决的重要课题。

    知识蒸馏是一类十分有效的轻量化技术，被广泛地应用到计算机视觉以及自然语言处理等任务中。它的主要思想是将复杂模型作为教师模型，将其知识迁移到一个轻量级的学生模型中。然而，由于学生模型结构的局限性，知识蒸馏技术很难将教师模型的特征交互知识完全迁移到学生模型中，因此会产生较大的精度损失。

    为了解决上述问题，我们想要设计一个能够完美拟合各种特征交互模型的轻量级学生模型。我们注意到目前大部分特征交互模型的参数低秩性，即真实场景中往往只有一小部分交互起到重要作用，其特征交互的语义权重具有极大的分解潜力。为了提取教师模型全部特征交互知识，我们设计了一个轻量级图神经网络模型(DAGFM)，其中图信息传播过程与一个构造任意阶交互的动态规划算法严格对应。因此，任意一个特征交互都对应着动态规划图中唯一一条转移路径，特征交互的权重为转移路径中边权重之积。DAGFM对任意复杂的特征交互模型都达到了几乎无损的压缩效果，并且极少的参数量使得它在微调阶段可以缓解教师模型面临的过拟合效应，在不同的推荐场景下的性能与效率都有较大提升。

图片

内容中包含的图片若涉及版权问题，请及时与我们联系删除