NeurIPS 2022 阿里妈妈预估模型最新进展：千样本千模

今天给大家解读NeurlPS 2022中阿里妈妈在CTR预估模型方面的最新进展：Adaptive Parameter Generation（APG）。APG针对每个样本动态生成定制化的模型参数，实现了千样本千模，显著提升了点击率预估效果，并且应用到阿里妈妈搜索广告系统中，带来3%的点击率提升和1%的收入提升。

论文标题：APG: Adaptive Parameter Generation Network for Click-Through Rate Prediction

下载地址：https://arxiv.org/pdf/2203.16218.pdf

Motivation

业内对于CTR预估模型的优化主要集中在两个方面，一方面是不断扩充和完善输入特征，例如引入多模态信息、外界的知识信息、用户历史行为信息等；另一方面是模型结构的优化，例如NFM对特征交互网络结构的优化。但是很少有工作直接针对模型中的全连接参数进行优化。

目前的CTR预估模型，基本上都是所有模型共享一套模型参数，这种方法虽然能从数据中提取一般性的规律，但是对于不同类型样本个性化的建模缺少刻画。例如下图中，冷启动和活跃用户的CTR、年龄特征等的分布差异都是比较大的。此外，由于冷启动样本量少，模型也更关注拟合频率较高的样本，在长尾样本上拟合能力较差。

本文提出针对不同的样本动态生成模型参数。首先设计了一个基础版本的自动生成参数的模型，并在此基础上通过低秩分解提升模型运行效率和内存占用，以及通过对不同类型权重参数的设计提升模型的表达能力。