RAFT: Adapting Language Model to Domain Specific RAG

使用大规模文本数据对大型语言模型（LLMs）进行预训练已经成为标准范式。在将这些LLMs用于许多下游应用程序时，通常会通过RAG-based-prompting或微调将新知识（例如时间关键的新闻或私有领域知识）加入到预训练模型中。然而，模型获得此类新知识的最佳方法仍然是一个开放的问题。在本文中，我们提出了检索增强微调（RAFT），这是一种训练方法，可以提高模型在“开放书籍”领域内回答问题的能力。在RAFT中，给定一个问题和一组检索到的文档，我们训练模型忽略那些对回答问题没有帮助的文档，我们称之为分心文档。RAFT通过引用相关文档中将有助于回答问题的正确序列来实现这一点。这与RAFT的思维链式响应相结合，有助于提高模型的推理能力。在特定领域的RAG中，RAFT持续提高了模型在PubMed、HotpotQA和Gorilla数据集上的性能，提供了一种改进预训练LLMs到领域内RAG的后训练方法。RAFT的代码和演示在github.com/ShishirPatil/gorilla上开源。

如何在预训练大型语言模型（LLMs）中添加新知识以用于下游任务，是一个尚未解决的问题。本文提出了Retrieval Augmented FineTuning（RAFT）的方法，以在特定领域中提高模型回答问题的能力。

RAFT通过引用相关文档中能够回答问题的正确序列，训练模型忽略那些无助于回答问题的干扰文档，从而提高模型推理能力。

RAFT在特定领域的RAG中，通过PubMed、HotpotQA和Gorilla数据集的实验表现出一致的性能提升。作者还公开了代码和演示。

最近的相关研究包括使用prompting的方法和微调预训练模型的方法。