论文链接：https://arxiv.org/abs/2106.04075

本文提出了一套多目标协同出价优化框架，即多智能体协同出价博弈。在该合作博弈框架中，通过引入一个全局的目标以优化所有广告主的总体利益，鼓励了广告主更好的协同，从而间接保护了自主出价广告主的利益，使得流量分配更加公平。为解决多广告主串谋问题，额外引入平台收入作为约束。通过理论分析给出了最优出价公式的泛函形式，并设计了一种策略网络用于探索泛函出价公式中的最优参数。为寻找最优参数，同时设计了一种高效的多智能体进化策略搜索算法。该模型已经上线部署到淘宝搜索广告平台，每天服务上百万广告主的实时竞价优化，使得整体大盘效率指标以及广告主自身诉求均有 5% 以上提升。

多智能体协同进化策略模型总体框架

整个模型框架如上图所示，不同诉求的广告主首先按照诉求目标进行聚簇形成\( K \)个聚簇集合。对于每次竞价 \( j \)，每类诉求的 AD 首先利用自身的实时特征 \( S_{ij} \) 作为自身私有网络的输入，计算针对 AD \( i \) 自身诉求的 \( (b_{AD})_{ij} \) 作为输出。同时利用竞价 \( j \) 下所有AD的实时特征 \( S_{ij} \) 和分布特征 \( S_{.j} \) 作为共享网络的输入，计算针对总体目标的出价 \( (b_{0})_{ij} \) 作为输出。此外利用分布特征 \( S_{.j} \) 作为融合网络的输入，计算针对私有网络和共享网络的分配权值 \( a_{j} \) 作为输出。此时得到任意一个AD \( i \) 在每次竞价 \( j \) 下的最终出价 \( b_{ij} \) 。此时对于同一竞价下，按照 eCPM 进行排序，Top AD 获得展现，对全天每次竞价进行如上计算和排序，通过累计全天的不同诉求的广告主和总体的目标分数，根据多目标设计和进化策略优化更形模型参数，从而探索最初的出价参数。

内容中包含的图片若涉及版权问题，请及时与我们联系删除