A Method for Parsing and Vectorization of Semi-structured Data used in Retrieval Augmented Generation

本文介绍了一种新的方法，用于解析和向量化半结构化数据，以增强大型语言模型（LLMs）中检索增强生成（RAG）的功能。我们开发了一个全面的流程，将各种数据格式转换为.docx，实现了高效的解析和结构化数据提取。我们的方法的核心是使用Pinecone构建向量数据库，它与LLMs无缝集成，提供准确的、上下文特定的响应，特别是在环境管理和废水处理操作方面。通过对各种文档格式的英文和中文文本进行严格测试，我们的结果表明，LLMs输出的精度和可靠性得到了显著提高。RAG增强模型显示出了生成上下文丰富、技术准确的响应的能力得到了增强，强调了向量知识库在专业领域中显著提高LLMs性能的潜力。这项研究不仅说明了我们方法的有效性，还突显了它在环境科学中处理和分析数据的潜力，为AI驱动的应用的未来发展设立了先例。我们的代码可在https://github.com/linancn/TianGong-AI-Unstructure.git上获得。

本论文旨在提出一种新的方法，通过解析和向量化半结构化数据，增强大型语言模型中检索增强生成（RAG）的功能。该方法尤其适用于环境管理和废水处理操作中的技术精度和上下文相关性。

论文的核心思路是使用Pinecone构建向量数据库，并将其与LLMs无缝集成，以提供准确的上下文特定响应。通过将各种数据格式转换为.docx，实现了高效的解析和结构化数据提取。

论文通过严格测试英文和中文文本中的多种文档格式，证明了通过向量化知识库可以显著提高LLMs在专业领域中的性能。RAG增强模型显示出了生成上下文丰富且技术准确的响应的能力，突显了向量知识库在提高LLMs性能方面的潜力。论文开源了代码，可在https://github.com/linancn/TianGong-AI-Unstructure.git获得。

最近的相关研究主要集中在大型语言模型的改进和应用上，例如GPT-3和BERT等。此外，还有一些研究关注向量化知识库的构建和应用，例如Faiss和Annoy等。