CoXQL: A Dataset for Parsing Explanation Requests in Conversational XAI Systems

目前，基于大型语言模型（LLMs）的对话式可解释人工智能（ConvXAI）系统引起了自然语言处理（NLP）和人机交互（HCI）研究界的极大兴趣。这种系统可以回答用户有关解释的问题，有潜力增强用户的理解，并提供有关LLMs的决策和生成过程的更多信息。目前可用的ConvXAI系统基于意图识别而不是自由聊天。因此，可靠地把握ConvXAI系统中用户的意图仍然是一个挑战，因为有广泛的XAI方法可以映射请求，并且每种方法都可以有多个插槽来处理。为了弥合这一差距，我们提出了CoXQL，这是第一个用于ConvXAI中用户意图识别的数据集，涵盖31个意图，其中7个需要填充额外的插槽。随后，我们通过纳入模板验证来改进现有的解析方法，并使用不同的解析策略对CoXQL上的几个LLMs进行评估。我们得出结论，改进的解析方法（MP+）超越了以前的方法的性能。我们还发现，具有多个插槽的意图对LLMs仍然具有很高的挑战性。

研究围绕Conversational explainable artificial intelligence (ConvXAI)系统展开，试图解决用户意图识别的挑战，尤其是涉及多个槽位的意图识别。

提出了CoXQL数据集来解决ConvXAI系统中用户意图识别的问题，其中涵盖了31个意图，其中7个需要填充额外的槽位。通过使用模板验证来改进现有的解析方法，提高了解析性能。

该论文是第一个针对ConvXAI系统中用户意图识别的数据集，对该数据集进行了多种解析策略的评估。实验结果表明，改进后的解析方法（MP+）优于之前的方法，同时多个槽位的意图仍然是LLMs的挑战。

最近的研究聚焦于ConvXAI系统的不同方面，例如解释生成、用户交互等。相关研究包括“Explainable AI for Conversational Systems: A Review”和“Towards Conversational Search and Recommendation: System Ask, User Respond”。