RAG vs Fine-tuning: Pipelines, Tradeoffs, and a Case Study on Agriculture

开发人员在构建大型语言模型（LLMs）应用程序时，通常有两种常见的方式来整合专有和领域特定的数据：检索增强生成（RAG）和微调。RAG通过外部数据增强提示，而微调将额外的知识整合到模型本身中。然而，这两种方法的优缺点并不为人所知。本文提出了一个微调和RAG的流程，并介绍了多个流行的LLMs（包括Llama2-13B、GPT-3.5和GPT-4）的权衡。我们的流程包括多个阶段，包括从PDF中提取信息、生成问题和答案、用于微调以及利用GPT-4评估结果。我们提出了评估RAG和微调流程不同阶段性能的指标。我们对农业数据集进行了深入研究。农业作为一个行业还没有看到太多AI的渗透，我们研究了一个可能具有颠覆性的应用——如果我们能够向农民提供特定于位置的见解会怎样？我们的结果显示，我们的数据集生成流程在捕捉地理特定知识方面是有效的，并且RAG和微调具有定量和定性的优势。当微调模型时，我们看到准确率增加了超过6个百分点，并且这与RAG是累积的，后者进一步将准确率提高了5个百分点。在一个特定的实验中，我们还展示了微调模型利用跨地理区域的信息回答特定问题，将答案相似度从47%提高到72%。总的来说，结果表明，使用LLMs构建的系统可以适应并整合特定行业关键维度上的知识，为其他工业领域的LLMs应用铺平道路。

本论文旨在探讨使用Retrieval-Augmented Generation (RAG)和Fine-Tuning两种方法来构建大型语言模型应用时的优缺点，并提出了一个包括从PDF中提取信息、生成问题和答案、使用Fine-Tuning和评估结果等多个阶段的pipeline。作者通过对农业数据集的深入研究，试图探索如何将LLMs应用于农业领域，为农民提供地理位置特定的洞察。

本论文提出了一个综合pipeline，将RAG和Fine-Tuning两种方法结合使用，以提高LLMs的性能。通过在农业数据集上进行实验，作者证明了这种方法的有效性，并展示了Fine-Tuning和RAG的累积效果，以及Fine-Tuning如何利用跨地理区域的信息来回答特定问题。

本论文的亮点包括提出了一个综合pipeline，以及在农业领域探索LLMs的应用。实验使用了多个流行的LLMs，并提出了评估性能的指标。作者还证明了Fine-Tuning和RAG的累积效果，以及Fine-Tuning如何利用跨地理区域的信息来回答特定问题。

最近在这个领域中，还有一些相关的研究，如《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》、《Fine-Tuning Language Models from Human Preferences》等。