Allowing humans to interactively guide machines where to look does not always improve human-AI team's classification accuracy

通过解释型人工智能（XAI）领域中的数千篇论文，注意力图和特征归因图已被确认为查找每个输入特征对人工智能决策的重要性的常见手段。一个未被探索的有趣问题是，在测试时允许用户编辑特征重要性是否会提高人工智能与人类团队在下游任务中的准确性。本文利用CHM-Corr，一种最先进的ante-hoc可解释分类器，来回答这个问题，该分类器首先预测输入和训练集图像之间的补丁对应关系，然后基于这些关系做出分类决策。我们构建了CHM-Corr++，这是一个CHM-Corr的交互式界面，使用户可以编辑CHM-Corr提供的特征归因图，并观察更新后的模型决策。通过CHM-Corr++，用户可以了解模型何时以及如何更改其输出，从而提高他们对静态解释之外的理解。然而，我们进行的18个用户、1,400个决策的用户研究发现，相比静态解释，我们的交互式方法在CUB-200鸟类图像分类上并没有显著提高用户准确性。这挑战了交互性可以提高人工智能-人类团队准确性的假设，并提出了未来研究的需求。我们开源了CHM-Corr++，这是一个用于编辑图像分类器注意力的交互式工具（在此处可以查看交互式演示），为未来研究在计算机视觉中实现有效的人工智能-人类交互打下了基础。我们在github上发布了代码和数据。

探索在测试时允许用户编辑特征重要性是否能提高人工智能团队在下游任务中的准确性。

使用CHM-Corr++，一种交互式界面，允许用户编辑由CHM-Corr提供的特征归因图，并观察更新的模型决策。然而，18名用户进行了1400个决策的用户研究发现，与静态解释相比，我们的交互式方法并没有统计学意义上提高用户在CUB-200鸟类图像分类上的准确性。

论文开源了CHM-Corr++，这是一种用于编辑图像分类器注意力的交互式工具。实验使用CUB-200数据集进行，并且通过18名用户进行了1400个决策的用户研究。研究结果表明，与静态解释相比，交互式方法并没有显著提高用户的准确性。

最近的相关研究包括：Sokol等人的研究探讨了交互式解释对人类-AI团队的影响；Sun等人的研究探索了交互式解释的不同类型；Shen等人的研究提出了一种交互式解释框架；Singh等人的研究探讨了交互式解释对用户信任的影响；Mindlin等人的研究探讨了交互式解释的潜在益处；Lakkaraju等人的研究探讨了在交互式解释中如何平衡准确性和可解释性；Cheng等人的研究探讨了解释的可靠性和有效性；Liu等人的研究探讨了解释对用户决策的影响。