点击率预估（a.k.a. CTR模型）在搜索、推荐和广告等互联网应用中扮演了至关重要的角色。随着深度学习技术的快速发展，CTR模型的演化方案层出不穷，学术届与工业界的创新热潮方兴未艾。本文我们按照CTR模型的结构特点将优化方向进行归类，简要介绍下阿里妈妈搜索广告在不同优化方向上做的一些有意思的工作。

CTR模型的整体结构可以分为3层：

1）Embedding Layers，这一层的作用是将类别型特征（包括数值型特征一般离散化为类别型特征）对应的高维空间映射到Embedding向量的低维空间；
2）Hidden Layers，这一层的作用是提供高度非线性的拟合能力；
3）Output Layers，这一层的作用是对任务的具体目标进行针对性表达。

不同层的优化路径有显著差异，这里给出整体分类框图，图中标记列举了部分较为经典的创新解法。

我们在每一层的不同优化路径上均有持续迭代，本文介绍的3篇SIGIR文章主要集中在Hidden Layers和Embedding Layers两层。

1）Hidden Layers特点：传统全连接层MLP虽然有万能的拟合能力，但研究表明它的业务针对性较弱，通常需要有显式的结构设计才能让模型的学习更加聚焦。
2）Embedding Layers特点：大规模数据场景下建模的重中之重，该层参数规模几乎决定了整体存储规模，Embedding表征学习能力决定了模型预估能力的基本盘。
以下是3篇SIGIR文章的极简概述:
  • GIN（SIGIR-2019）：处在Hidden Layers - User Behavior Modeling 优化路径上，文章提出了一种图学习与CTR任务相结合的端到端建模方案，有利于用户兴趣探索和拓展。
  • 论文名称：Graph Intention Network for Click-through Rate Prediction in Sponsored Search
  • 论文链接：https://arxiv.org/pdf/2103.16164.pdf

 

  • PCF（SIGIR-2021）：处在Hidden Layers - Feature Interaction Modeling 优化路径上，文章提出一种针对显性交叉语义表征的预训练图学习方案，有利于CTR模型压缩和泛化。
  • 论文名称：Explicit Semantic Cross Feature Learning via Pre-trained Graph Neural Networks for CTR Prediction
  • 论文链接：https://arxiv.org/pdf/2105.07752.pdf

 

  • FSCD（SIGIR-2021）：处在Embedding Layers 优化路径上，文章提出了一种以算力因子为先验、可自动学习的特征选择方案，基于精排模型衍生出全新的粗排模型，使得效率和效果更加平衡。 
  • 论文名称：Towards a Better Tradeoff between Effectiveness and Efficiency in Pre-Ranking: A Learnable Feature Selection based Approach
  • 论文链接：https://arxiv.org/pdf/2105.07706.pdf

更多详情可以戳原文。

内容中包含的图片若涉及版权问题，请及时与我们联系删除