本文介绍了一种学术知识图谱问答（KGQA）系统，通过利用大型语言模型（LLM），以少量数据进行训练，回答文献自然语言问题。该模型首先通过基于BERT的句子编码器识别与给定测试问题相关的前n个相似训练问题，并检索它们对应的SPARQL。使用前n个相似的问题-SPARQL对作为示例，以及测试问题创建提示。然后将提示传递给LLM并生成SPARQL。最后，对底层KG-ORKG（Open Research KG）端点运行SPARQL并返回答案。我们的系统在Scholarly-QALD-23挑战基准测试之一SciQA上实现了99.0％的F1得分。

随着微调大型语言模型（LLMs）的成本不断上升，最近的研究努力已经转向开发编辑LLMs中隐含知识的方法。然而，仍然有一个黑云盖顶——知识编辑是否会引发蝴蝶效应？因为目前还不清楚知识编辑是否可能引入潜在风险或副作用。本文首次探讨了与LLMs的知识编辑相关的潜在风险。为了实现这一目标，我们引入了新的基准数据集并提出了创新的评估指标。我们的结果强调了两个关键问题：（1）知识冲突：编辑逻辑上冲突的事实组可能会放大LLMs中固有的不一致性，这是之前方法忽略的一个方面。（2）知识扭曲：为了编辑事实知识而改变参数可能会不可逆地扭曲LLMs的内在知识结构。实验结果生动地证明，知识编辑可能会无意中对LLMs产生意想不到的后果，这需要未来的关注和努力。代码可在https://github.com/zjunlp/PitfallsKnowledgeEditing获得。

大型语言模型（LLMs）在企业应用中具有应用前景，可用于企业SQL数据库的问题回答。然而，鉴于缺乏适用于企业环境的Text-to-SQL基准测试，LLMs能否准确地回答此类数据库中的企业问题仍不清楚。此外，知识图谱（KGs）提供商业背景，从而增强基于LLM的问题回答的潜力尚不清楚。本研究旨在评估LLM驱动的问题回答系统在企业问题和SQL数据库环境下的准确性，同时探讨知识图谱在提高准确性方面的作用。为了实现这一目标，我们引入了一个基准测试，包括保险领域的企业SQL架构、涵盖报告到指标的一系列企业查询，以及一个包含本体和映射的上下文层，定义了一个知识图谱。我们的主要发现是，使用GPT-4进行零-shot提示，直接在SQL数据库上回答问题的准确率为16%。值得注意的是，当问题在企业SQL数据库的知识图表示上提出时，准确率提高到54%。因此，投资于知识图谱为LLM驱动的问题回答系统提供了更高的准确性。