Enhancing LLM Factual Accuracy with RAG to Counter Hallucinations: A Case Study on Domain-Specific Queries in Private Knowledge-Bases

我们提出了一个端到端的系统设计，旨在利用检索增强生成（RAG）来提高大型语言模型（LLMs）对私有知识库相关的领域特定和时间敏感查询的事实准确性。我们的系统将RAG管道与上游数据集处理和下游性能评估相集成。为了解决LLM幻觉的挑战，我们使用CMU广泛的资源并用教师模型注释的策划数据集对模型进行微调。我们的实验证明了该系统在生成更准确的领域特定和时间敏感查询答案方面的有效性。结果还揭示了使用小规模和偏斜数据集微调LLMs的局限性。该研究突显了RAG系统在增强LLMs的外部数据集以提高知识密集型任务性能方面的潜力。我们的代码和模型在Github上可用。

本论文旨在利用检索增强生成（RAG）的端到端系统设计，以改进大型语言模型（LLM）在私人知识库相关的特定领域和时效性查询方面的事实准确性。同时，解决LLM幻觉的挑战，并通过对由CMU的广泛资源组成的精选数据集进行微调模型来进行实验验证。

论文的关键思路是将RAG管道与上游数据集处理和下游性能评估相结合，通过外部数据集增强LLMs的性能，从而提高特定领域和时效性查询的准确性。同时，通过微调模型来解决LLM幻觉的挑战。

论文通过实验验证了系统在特定领域和时效性查询方面的准确性得到了提高。同时，还揭示了使用小规模和偏斜数据集微调LLMs的局限性。研究还强调了RAG系统在增强LLMs的外部数据集方面的潜力。代码和模型已在Github上开源。

在这个领域中，最近的相关研究包括《Pretrained Transformers Improve Out-of-Distribution Robustness》、《Improving Language Understanding by Generative Pre-Training》等。