Allowing humans to interactively guide machines where to look does not always improve human-AI team's classification accuracy

通过阅读成千上万的可解释AI（XAI）论文，注意力图和特征重要性图已被确立为一种常见的手段，用于确定每个输入特征对AI决策的重要性。一个有趣且未被探索的问题是，在测试时允许用户编辑特征重要性是否会提高人工智能团队在下游任务中的准确性。本文利用CHM-Corr，一种最先进的前置可解释分类器，解决了这个问题。CHM-Corr首先预测输入和训练集图像之间的补丁对应关系，然后基于这些关系做出分类决策。我们构建了CHM-Corr++，一个交互式界面，使用户可以编辑CHM-Corr提供的特征重要性图，并观察更新后的模型决策。通过CHM-Corr++，用户可以深入了解模型何时以及如何改变其输出，从而提高他们的理解能力。然而，我们对18名专家用户进行的1,400个决策的研究发现，与静态解释相比，我们的交互式方法在CUB-200鸟类图像分类上并没有显著提高用户的准确性。这挑战了交互性可以提高人工智能团队准确性的假设，并提出了未来研究的需求。我们开源了CHM-Corr++，一个用于编辑图像分类器注意力的交互式工具（在此处查看交互式演示：http://137.184.82.109:7080/）。我们在github上发布了代码和数据：https://github.com/anguyen8/chm-corr-interactive。

本文旨在探讨用户在测试时编辑特征重要性是否能够提高人工智能分类器的准确性，以及开发一个交互式界面工具来编辑分类器的注意力图。

本文提出了一种交互式界面工具CHM-Corr++，使用户能够编辑分类器的注意力图，并观察更新后的模型决策。但是，通过与18个专家用户的研究发现，交互式方法并没有显著提高用户在CUB-200鸟类图像分类任务上的准确性。这一结果挑战了交互性能够提高人工智能分类器准确性的假设。

本文开发了一个交互式界面工具CHM-Corr++，用于编辑分类器的注意力图，以提高用户对模型输出的理解。研究者进行了与18个专家用户的实验，发现交互式方法并没有显著提高用户在CUB-200鸟类图像分类任务上的准确性。研究者开源了CHM-Corr++工具，并在github上发布了代码和数据。

最近的相关研究主要集中在解释人工智能分类器的决策过程上，如注意力图和特征重要性图。例如，Vaswani等人提出了注意力机制，Bansal等人提出了特征重要性图。