LiNR: Model Based Neural Retrieval on GPUs at LinkedIn

本文介绍了LinkedIn的大规模GPU检索系统LiNR。LiNR支持在GPU模型上进行十亿级别的索引。我们讨论了在生产规模下使用TensorFlow和PyTorch创建可扩展的可微分搜索索引时的经验和挑战。在LiNR中，项目和模型权重都被集成到模型二进制文件中。将索引构建视为模型训练的一种形式，我们描述了如何扩展我们的系统以处理大型索引，包括全面扫描和高效过滤。一个关键的重点是实现基于属性的预过滤，以进行详尽的GPU搜索，解决了KNN搜索中常见的后过滤问题，这通常会降低系统质量。我们还提供了多嵌入检索算法和策略，以解决检索中的冷启动问题。我们还讨论了通过量化支持更大索引的进展。我们认为LiNR代表了业界首批基于实时更新模型的检索索引之一。应用于LinkedIn Feed上的网络外发布建议，LiNR为专业日活跃用户的相对增长贡献了3%。我们将LiNR视为将检索和排名集成到单个GPU模型中的一步，简化复杂的基础架构，并通过梯度下降实现整个可微分基础架构的端到端优化。

本文介绍了LinkedIn的大规模GPU检索系统LiNR，旨在解决在生产规模下创建可扩展、可微分的搜索索引的挑战。

本文提出了一种将项目和模型权重集成到模型二进制文件中的索引构建方法，并着重介绍了基于属性的预过滤方法和量化技术对于提高系统质量和支持更大规模索引的重要性。

本文的亮点包括：使用TensorFlow和PyTorch在GPU模型上支持十亿级别的索引；提出基于属性的预过滤方法以解决KNN搜索中的后过滤问题；提供多嵌入检索算法和策略以解决检索中的冷启动问题；使用量化技术支持更大规模的索引。LiNR已经在LinkedIn Feed的推荐系统中取得了3%的相对增长，是业界首个基于模型的实时更新检索索引。

在这个领域中的相关研究包括：Facebook的Faiss，Google的ScaNN和Spotify的ANNOY等。