Validating ChatGPT Facts through RDF Knowledge Graphs and Sentence Similarity

本文提出了一种新的流程，将ChatGPT的响应检索到RDF中，并尝试使用一个或多个RDF知识图谱（KG）验证ChatGPT的事实，因为ChatGPT提供的响应往往缺乏证明，并且即使是流行的人物、事件和地点也可能存在错误的事实。为此，我们利用DBpedia和LODsyndesis（一个包含来自许多领域的400个RDF KG的20亿个三元组的聚合知识图谱）和短句嵌入，引入一种算法，返回更相关的三元组及其来源和置信度评分。这使得可以验证ChatGPT的响应并用证明和来源丰富它们。为了评估这种服务（一般的服务），我们创建了一个评估基准，其中包括2,000个ChatGPT事实；具体来说，有1,000个关于著名的希腊人，500个关于流行的希腊地点，以及500个关于与希腊相关的事件的事实。这些事实是手动标记的（大约73%的ChatGPT事实是正确的，27%的事实是错误的）。结果很有前途；例如，对于整个基准，我们成功验证了85.3%的ChatGPT正确事实，并找到了58%的ChatGPT错误事实的正确答案。

验证ChatGPT的事实，并提供证明和来源。这是一个新问题。

通过将ChatGPT的回答转换为RDF，并使用一个或多个RDF知识图谱进行验证，提供更准确的事实验证。使用短句嵌入和算法返回相关三元组和置信度得分。

论文使用了DBpedia和LODsyndesis，创建了一个包含2亿三元组的聚合知识图谱。作者创建了一个包含2000个ChatGPT事实的评估基准，显示了该方法验证了85.3%的正确事实和58%的错误事实。

近期相关研究包括：1. J. Zhang等人的"A Knowledge Graph-based Approach for Fact Checking in the News Domain"；2. X. Zhang等人的"Knowledge Graph-Augmented Neural Networks for Fact Verification in Natural Language"。