LiNR: Model Based Neural Retrieval on GPUs at LinkedIn

本文介绍了 LinkedIn 的大规模 GPU 检索系统 LiNR。LiNR 支持在 GPU 模型上进行十亿级索引。我们讨论了在 TensorFlow 和 PyTorch 中创建可扩展的可微分搜索索引的经验和挑战。在 LiNR 中，物品和模型权重都被集成到模型二进制文件中。将索引构建视为模型训练的一种形式，我们描述了如何扩展我们的系统以支持大型索引，包括全扫描和高效过滤。一个重点是实现基于属性的预过滤，以进行详尽的 GPU 搜索，解决 KNN 搜索中常见的后过滤挑战，这经常会降低系统质量。我们还提供了多嵌入式检索算法和策略，以解决检索中的冷启动问题。我们还讨论了通过量化支持更大索引的进展。我们认为 LiNR 是行业中第一个基于实时更新模型的检索索引。应用于 LinkedIn Feed 上的网络外推荐，LiNR 增加了 3% 的相对专业日活跃用户。我们预计 LiNR 是将检索和排名集成到单个 GPU 模型中的一步，简化复杂的基础设施，并通过梯度下降实现整个可微分基础设施的端到端优化。

本文介绍了LinkedIn的大规模GPU检索系统LiNR，旨在解决大规模索引和基于属性的预过滤等技术挑战。

LiNR将索引构建视为模型训练，并将项目和模型权重集成到模型二进制文件中，通过量化等技术支持更大的索引规模，以及通过多嵌入检索算法和冷启动策略解决检索中的挑战。

实验结果表明，LiNR在LinkedIn Feed的帖子推荐中提高了3%的相对DAU。论文还介绍了如何使用TensorFlow和PyTorch构建可扩展的可微分搜索索引，并探讨了如何将检索和排名集成到单个GPU模型中。

与本文相关的研究包括：Facebook的FAISS和Annoy，以及谷歌的ScaNN和Billion-scale similarity search with GPUs。