CoXQL: A Dataset for Parsing Explanation Requests in Conversational XAI Systems

目前，基于大型语言模型（LLMs）的对话式可解释人工智能(ConvXAI)系统引起了自然语言处理(NLP)和人机交互(HCI)研究界的广泛关注。这样的系统可以回答用户在对话中关于解释的问题，有潜力提高用户的理解能力，并提供有关LLMs的决策和生成过程的更多信息。目前可用的ConvXAI系统基于意图识别，而不是自由聊天，因为发现这种方法在识别用户意图方面更加精确和可靠。然而，在ConvXAI的情况下，意图的识别仍然存在挑战，因为训练数据很少，而且领域非常特定，因为有广泛的XAI方法可以映射请求。为了弥补这个差距，我们提出了CoXQL，这是第一个用于ConvXAI中用户意图识别的数据集，涵盖31个意图，其中7个意图需要填写多个插槽。随后，我们通过加入模板验证来增强现有的解析方法，并使用不同的解析策略对CoXQL上的几个LLMs进行评估。我们得出结论，改进的解析方法(MP+)超越了以前的方法。我们还发现，具有多个插槽的意图对LLMs仍然非常具有挑战性。

本论文旨在解决基于大型语言模型的对话式可解释人工智能系统中用户意图识别的挑战，提出了CoXQL数据集用于训练和评估模型。

论文采用模板验证的方法改进了现有的解析方法，并通过对不同解析策略下的多个大型语言模型在CoXQL数据集上的评估，证明了改进后的解析方法的性能优于以往方法。

论文提出了CoXQL数据集，其中包含31个用户意图，其中7个需要填写多个插槽。论文还介绍了模板验证的方法来解决用户意图识别中的挑战，并评估了多个大型语言模型在CoXQL数据集上的性能。本论文的工作对于提高对话式可解释人工智能系统的性能和可解释性具有重要意义。

最近的相关研究包括基于意图识别的对话系统和可解释人工智能系统的研究，如《A Survey of Intent Recognition in Dialogue Systems》和《Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI》。