Improving Retrieval for RAG based Question Answering Models on Financial Documents

大型语言模型（LLMs）在生成准确响应方面的有效性在很大程度上取决于所提供输入的质量，尤其是在采用检索增强生成（RAG）技术时。RAG通过获取最相关的文本块来增强LLMs以基于其进行查询。尽管近年来LLMs的响应质量取得了显著进展，但用户仍可能遇到不准确或不相关的答案；这些问题通常是由于RAG的子优文本块检索而不是LLMs固有能力引起的。为增强LLMs的效力，关键是要优化RAG过程。本文探讨了RAG管道的现有限制，并介绍了增强文本检索的方法。它深入探讨了诸如复杂的块技术、查询扩展、元数据注释的整合、重新排名算法的应用以及嵌入算法的微调等策略。实施这些方法可以大大提高检索质量，从而提高LLMs在处理和响应查询方面的整体性能和可靠性。

本文旨在探讨如何提高Retrieval Augmented Generation（RAG）技术中的文本检索质量，以增强Large Language Models（LLMs）的效果。

为了改进RAG过程，本文提出了多种方法，包括使用复杂的切块技术、查询扩展、元数据注释、重新排序算法和微调嵌入算法等。

本文的实验结果表明，采用这些方法可以显著提高文本检索质量，从而提高LLMs在处理和回答查询时的性能和可靠性。

近年来，有许多相关研究，如《Improving Text-to-SQL Evaluation Methodology》、《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》等。