Fine-Tuning or Fine-Failing? Debunking Performance Myths in Large Language Models

大型语言模型（LLMs）具有独特的能力，可以理解和生成类似于人类的文本来回答输入的查询。当进行微调时，这些模型在特定领域的查询上表现出更高的性能。OpenAI强调了微调的过程，指出：“要对模型进行微调，您需要提供至少10个示例。我们通常会看到微调50到100个训练示例会带来明显的改进，但正确的数量因具体用例而异。”本研究将这个概念扩展到了将LLMs集成到检索增强生成（RAG）管道中，RAG旨在通过利用外部语料库数据进行信息检索来提高准确性和相关性。然而，在复杂的查询场景下，RAG提供最佳响应的承诺经常落空。本研究旨在具体研究微调LLMs对其提取和整合上下文数据以增强多个领域中RAG系统性能的影响。我们通过比较来自多个领域数据集上微调模型与基准性能的准确性和完整性，评估了微调对LLMs数据提取和上下文理解能力的影响。我们的研究结果表明，与OpenAI建议的独立LLMs应用中观察到的改进相反，微调导致性能下降。本研究强调了对面向特定任务的微调模型进行严格调查和验证的必要性。

本文旨在研究Fine-tuning Large Language Models (LLMs)对Retrieval-Augmented Generation (RAG)系统在多个领域中提高性能的影响。

本文对Fine-tuning LLMs的效果进行了评估，并发现相比于基准模型，Fine-tuning会导致性能下降，这与OpenAI在独立LLM应用中观察到的改进相反。

实验结果表明Fine-tuning LLMs会导致性能下降，需要对Fine-tuned模型进行更加严格的验证。本文的亮点在于对Fine-tuning LLMs在RAG系统中的应用进行了探索。

近期的相关研究包括：《Retrieval-Augmented Language Model Pre-Training》、《Improving Retrieval-Augmented Generation with Context-aware Representations》等。