Prompt-RAG: Pioneering Vector Embedding-Free Retrieval-Augmented Generation in Niche Domains, Exemplified by Korean Medicine

我们提出了一种自然语言提示检索增强生成（Prompt-RAG）的新方法，用于增强生成型大语言模型（LLM）在利基领域中的性能。传统的RAG方法大多需要向量嵌入，然而，通用LLM嵌入表示对于专业领域的适用性仍然不确定。为了探索和举例说明这一点，我们比较了韩医和传统医学文献的向量嵌入，发现韩医文献嵌入与标记重叠相关性更高，与人工评估的文献相关性相关性较低，相比之下传统医学文献则相反。Prompt-RAG与传统的RAG模型不同，无需嵌入向量即可运行。它的性能通过问答（QA）聊天机器人应用程序进行评估，其中响应被评估为相关性、可读性和信息量。结果显示，Prompt-RAG在相关性和信息性方面优于现有模型，包括ChatGPT和传统的向量嵌入RAG。尽管存在内容结构和响应延迟等挑战，但LLM的进步预计将鼓励使用Prompt-RAG，使其成为其他需要RAG方法的领域的有前途的工具。

本论文旨在提出一种名为Prompt-RAG的新方法，以增强生成式大型语言模型在特定领域中的性能。

Prompt-RAG是一种新颖的方法，可在特定领域中提高生成式大型语言模型的性能，而不需要向量嵌入。

通过问答聊天机器人应用程序对Prompt-RAG的性能进行了评估，结果表明Prompt-RAG在相关性和信息性方面优于现有模型，包括ChatGPT和传统的基于向量嵌入的RAG。

在这个领域中，最近的相关研究包括“Large Scale Retrieval-Augmented Generation for Open-Domain Question Answering”和“Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks”。