T-RAG: Lessons from the LLM Trenches

大型语言模型（LLM）展示了卓越的语言能力，推动了将它们整合到各种领域的应用中。一个重要的应用领域是针对私人企业文件的问答，主要考虑数据安全，需要能够部署在本地、计算资源有限以及需要一个能够正确响应查询的强大应用。检索增强生成（RAG）已成为构建基于LLM的应用程序的最突出框架。虽然构建RAG相对简单，但使其稳健和可靠的应用程序需要广泛的定制和相对深入的应用领域知识。我们分享了构建和部署用于私人组织文件问答的LLM应用程序的经验。我们的应用程序将RAG与微调的开源LLM相结合。此外，我们的系统，称为Tree-RAG（T-RAG），使用树结构来表示组织内的实体层次结构。这用于生成文本描述以增强响应与组织层次结构内实体相关的用户查询的上下文。我们的评估表明，这种组合比简单的RAG或微调实现表现更好。最后，我们分享了一些基于我们在构建LLM应用程序的实际使用经验得出的教训。

解决私人企业文档问答中的数据安全和有限计算资源等问题，构建一个可靠的应用程序。

使用Retrieval-Augmented Generation（RAG）框架结合经过微调的开源LLM，利用树形结构表示组织内部实体层次结构，生成文本描述以增强上下文，从而构建出一个更加可靠的问答应用程序。

论文提出了一种新颖的方法，将RAG和树形结构相结合，有效提高了问答的性能。同时，作者分享了构建实际应用程序的经验和教训。

最近的相关研究包括使用RAG框架进行问答的论文，如《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》。