Reducing hallucination in structured outputs via Retrieval-Augmented Generation

普遍而根本的限制是生成式人工智能（GenAI）倾向于产生幻觉。虽然大型语言模型（LLM）已经风靡全球，但是如果不能消除或至少减少幻觉，那么实际应用中的GenAI系统可能面临用户采用的挑战。在部署基于自然语言要求生成工作流的企业应用程序的过程中，我们设计了一个利用检索增强生成（RAG）的系统，以极大地提高代表这些工作流的结构化输出的质量。由于我们实现了RAG，我们提出的系统显著减少了输出中的幻觉，并提高了我们的LLM在域外设置中的泛化能力。此外，我们还表明，使用一个小型、训练有素的检索器编码器可以减小伴随的LLM的大小，从而使基于LLM的系统的部署 less 资源密集。

本论文旨在解决生成式人工智能（GenAI）存在的幻觉问题，提出了一种利用检索增强生成（RAG）的方法，以减少幻觉并提高模型的泛化性能。

论文提出了一种基于RAG的方法，通过使用小型的检索编码器来降低伴随大型语言模型的资源消耗，从而减少GenAI的幻觉问题。

论文的实验结果表明，使用RAG方法可以显著减少GenAI的幻觉问题，并提高模型在领域外的泛化性能。作者还提供了使用的数据集和开源代码。

近期的相关研究包括GPT-3和T5等大型语言模型，以及一些使用检索增强技术的研究，如DPR和REALM等。