A Tale of Trust and Accuracy: Base vs. Instruct LLMs in RAG Systems

“检索增强生成”（RAG）代表了人工智能领域的一个重大进展，它将检索阶段与生成阶段相结合，后者通常由大型语言模型（LLM）提供支持。目前RAG的常见做法是使用“指导型”LLM，这些模型经过监督式训练进行微调，以增强它们遵循指令的能力，并使用最先进的技术与人类偏好保持一致。与普遍观点相反，我们的研究表明，在我们的实验设置下，基础模型在RAG任务中的表现平均比指导型模型高出20％。这一发现挑战了指导型LLM在RAG应用中优越性的普遍假设。进一步的调查揭示了更加微妙的情况，质疑了RAG的基本方面，并表明需要就该主题进行更广泛的讨论；或者，如弗洛姆所说，“仅凭一瞥统计数据很难理解数字的含义”。

本论文旨在探究在Retrieval Augmented Generation（RAG）任务中，使用基础模型还是fine-tuned模型更优秀。

论文发现，在实验设置下，基础模型在RAG任务中的表现平均比fine-tuned模型高出20％，挑战了现有关于fine-tuned模型在RAG应用中的优越性的假设。

论文提出了对RAG的基本方面进行更深入的调查，需要更广泛的讨论。实验中使用的数据集和代码都已公开。

最近的相关研究包括使用Transformer模型的T5和使用GPT-3的研究。