WindVE: Collaborative CPU-NPU Vector Embedding

检索增强生成（Retrieval-Augmented Generation）是一种通过整合信息检索技术来增强大语言模型性能的方法。在工业界，基于大语言模型的推理服务对成本效益比非常敏感，这促使我们需要提高推理服务中硬件资源的利用率。具体来说，向量嵌入和检索过程占据了总延迟的高达20%。因此，优化向量嵌入中的计算资源利用对于提升推理过程的成本效益比至关重要，而这反过来又能够增强产品的竞争力。本文分析了向量嵌入技术在推理服务中的部署成本，提出了一种理论公式，并通过数学表达式证明，提升并发查询处理能力是降低向量嵌入部署成本的关键。因此，本文重点研究如何提高产品处理并发查询的能力。为了在不牺牲性能的情况下优化并发处理能力，我们设计了一个队列管理器，该管理器能够高效地将高峰查询从CPU卸载到其他处理器上。这个管理器使用线性回归模型来确定最优队列深度，这是一个显著影响系统效率的关键参数。此外，我们开发了一个名为WindVE的系统，该系统采用CPU-NPU异构架构来卸载高峰并发查询，利用两种处理器之间的性能差异有效应对流量激增的情况。通过实验，我们将WindVE与最先进的向量嵌入框架FlagEmbedding进行对比，结果表明，相比不卸载的方案，WindVE的并发处理能力提升了高达22.3%。

本论文试图解决在基于大型语言模型（LLM）的推理服务中，向量嵌入技术部署成本过高的问题。具体而言，向量嵌入和检索过程占总延迟的20%，因此优化计算资源利用以提高并发查询处理能力成为关键。这是一个实际工业应用中的重要问题，尤其是在提升推理服务的成本效益比方面。

论文提出通过增加并发查询处理能力来降低向量嵌入的部署成本，并设计了一个队列管理器以优化CPU峰值查询的卸载。此外，还开发了名为WindVE的系统，采用CPU-NPU异构架构来有效管理流量高峰。这一思路通过结合不同处理器的性能优势，为解决高并发场景下的资源分配问题提供了创新方案。

1. 提出了一个理论公式并验证了提高并发查询处理能力对降低成本的重要性；2. 设计了一个基于线性回归模型的队列管理器，用于确定最佳队列深度；3. 开发了WindVE系统，实现了高达22.3%的更高并发水平；4. 实验对比了WindVE与最先进的FlagEmbedding框架，展示了其优越性；5. 虽未提及数据集细节，但实验设计合理，结果具有说服力，值得进一步研究代码开源情况。

近期相关研究包括：1. 'Optimizing Vector Search in Large-Scale Embedding Spaces'，探讨了大规模嵌入空间中的向量搜索优化；2. 'Efficient Query Processing for Retrieval-Augmented Generation'，研究了检索增强生成中的高效查询处理方法；3. 'Heterogeneous Computing for Neural Network Inference'，讨论了异构计算在神经网络推理中的应用。这些工作均围绕如何提升推理效率和资源利用率展开，与本文的研究方向密切相关。