ConvKGYarn: Spinning Configurable and Scalable Conversational Knowledge Graph QA datasets with Large Language Models

大型语言模型（LLMs）和对话助手的快速发展需要动态、可扩展和可配置的对话数据集进行培训和评估。这些数据集必须适应不同的用户交互模式，包括文本和语音，每种模式都提出了独特的建模挑战。知识图谱（KGs）凭借其结构化和不断发展的特性，为当前和精确的知识提供了理想的基础。虽然存在基于人工策划的KG的对话数据集，但它们难以跟上用户信息需求的快速变化。我们提出了ConvKGYarn，这是一种可扩展的方法，用于生成最新的、可配置的对话KGQA数据集。定性心理测量分析证实，我们的方法可以生成与流行的对话KGQA数据集相媲美的高质量数据集，同时可以扩展到覆盖广泛的人类交互配置。我们展示了它的实用性，通过在不同配置的对话KGQA集上测试LLMs - 探索模型在基于相同KG事实集的对话KGQA集上的行为。我们的结果突出了ConvKGYarn改善KGQA基础并评估LLMs的参数知识的能力，从而为不断发展的对话助手领域提供了强大的解决方案。

本论文旨在解决大规模语言模型和对话助手所需的动态、可扩展和可配置的对话数据集的问题，以及如何使用知识图谱来生成这些数据集。

本论文提出了一种名为ConvKGYarn的方法，可以生成最新的、可配置的对话知识图谱问答数据集。与现有的人工智能对话数据集相比，ConvKGYarn提供了可扩展性和广泛的人类交互配置。

通过定性心理测量分析，证明了ConvKGYarn可以生成与流行的对话知识图谱问答数据集相媲美的高质量数据集，同时还能以规模的方式提供这些数据集。在多种对话中测试了LLMs的实用性，探索了基于相同知识图谱事实集的不同配置的对话知识图谱问答集上的模型行为。ConvKGYarn的实用性得到了展示，可以改善KGQA基础并评估LLMs的参数化知识，因此为对话助手不断变化的格局提供了一个强大的解决方案。

最近的相关研究包括：《从知识图谱中的实体关联中生成对话》、《基于知识图谱的对话生成：综述和新方向》、《基于知识图谱的对话系统：综述和展望》等。