Increasing the LLM Accuracy for Question Answering: Ontologies to the Rescue!

越来越多的证据表明，使用大型语言模型（LLM）的问答系统，采用企业SQL数据库的知识图谱/语义表示（即文本到SPARQL），与直接在SQL数据库上回答问题的系统相比，能够实现更高的准确性。我们先前的基准研究表明，通过使用知识图谱，准确性从16%提高到54%。问题在于：我们如何进一步提高准确性并降低错误率？基于我们先前研究的观察，不准确的LLM生成的SPARQL查询遵循了错误的路径，我们提出了一种方法，包括1）基于本体的查询检查（OBQC）：利用知识图谱的本体检查错误，以检查LLM生成的SPARQL查询是否与本体的语义匹配；2）LLM修复：使用LLM的错误解释来修复SPARQL查询。通过与数据基准的聊天，我们的主要发现是，我们的方法将总体准确性提高到72%，包括额外的8%的“我不知道”的未知结果。因此，总体错误率为20%。这些结果进一步证明，投资于知识图谱，特别是本体，为LLM驱动的问答系统提供更高的准确性。

论文旨在提高基于大型语言模型的问答系统的准确性和降低错误率。通过使用知识图谱/语义表示的企业SQL数据库，相比于直接在SQL数据库上回答问题的系统，LLM能够获得更高的准确性，但仍存在错误率较高的问题。因此，论文提出了一种基于本体的查询检查（OBQC）和LLM修复的方法，以进一步提高准确性和降低错误率。

本文提出的方法包括OBQC和LLM修复。OBQC利用知识图谱的本体来检测LLM生成的SPARQL查询是否与本体的语义匹配，从而检测错误。LLM修复则使用错误解释和LLM来修复SPARQL查询，从而提高准确性。

论文在chat with the data数据集上进行了实验，发现使用本文提出的方法可以将准确性提高到72％，包括额外的8％未知结果。此外，本文的方法还能够降低错误率。值得关注的是，本文的方法使用了知识图谱的本体，这证明了投资知识图谱可以为LLM驱动的问答系统提供更高的准确性。

最近的相关研究包括使用知识图谱来改进问答系统的准确性和使用大型语言模型来回答问题的研究。其中，一些相关的论文包括：《Improving Question Answering over Incomplete Knowledge Bases using Knowledge Base Propagation》和《Language Models are Few-Shot Learners》。