Hierarchical Structured Neural Network for Retrieval

Embedding Based Retrieval (EBR) 是广告推荐系统检索阶段的关键组成部分，它利用 Two Tower 或 Siamese Networks 学习用户和广告项目的嵌入，然后使用近似最近邻搜索 (ANN) 高效地检索特定用户最相关的广告。尽管最近在工业界变得流行，但它们有一些局限性。首先，Two Tower 模型架构使用单个点积交互，尽管它们很有效，但无法实际捕捉数据分布。其次，ANN 的组成部分包括质心表示和聚类分配，在训练过程完成后发生。因此，它们不考虑用于检索模型的优化标准。在本文中，我们提出了分层结构神经网络 (HSNN)，这是一种部署的联合优化分层聚类和神经网络模型，可以利用更常见于排名阶段的复杂交互和模型架构，同时保持次线性的推断成本。我们在离线评估中实现了 6.5% 的改进，并通过 A/B 实验展示了 1.22% 的在线增益。HSNN 已成功部署到广告推荐系统中，并正在处理大部分流量。本文分享了我们在开发此系统时的经验，处理新鲜度、波动性、冷启动推荐、聚类崩溃和在大规模检索生产系统中部署模型的教训。

本论文旨在解决广告推荐系统中的检索阶段存在的限制，如单一的点积交互和不考虑优化检索模型的聚类表示和聚类分配等问题。

本文提出了一种层次结构的神经网络（HSNN）模型，通过联合优化聚类和神经网络模型，利用更复杂的交互和模型架构，同时保持亚线性的推理成本。

本文在离线评估中取得了6.5％的改进，并通过A/B实验证明了1.22％的在线收益。作者成功将HSNN部署到广告推荐系统中，并处理了大部分流量。实验使用了哪些数据集和是否开源代码未提及。

与本文相关的研究包括基于嵌入的检索技术、聚类和神经网络模型等。