随着市面上可供使用的 AI 工具日益增长和完善，在许多行业中，人类从业者与 AI 的协作开始变得普遍。AI 可以通过提供建议和相关信息来协助人类决策者做出更好的决策。但是目前看来，Human-AI 的这种协作模式还面临着诸多的挑战，要想充分发挥人类与 AI 共同的潜力，首先要了解 Human-AI 互补（complementarity）的概念（AI 协助下的人类表现超过单独的人类或者单独的 AI 表现），这就意味着人们需要对 AI 系统建立准确的认知与期望，从而发展出适当的依赖策略。

 

同时，还需要更详尽地调查不同设计选择对 Human-AI 交互的影响，例如 AI 提供辅助的时机、向人类提供信息的多少等。针对这些挑战，来自加州大学欧文分校的两位学者在 Perspectives on Psychological Science 上发表了一篇综述，他们结合最新的实证和理论发现，以一种跨学科的视角讨论了 AI 辅助决策上现有和未来的可能研究方向。我们将以这篇文章为基础展开讨论 Human-AI 协作中的研究与应用前景。

 

原文链接

        https://doi.org/10.1177/17456916231181102 

 

目 录

✦

  • 挑战1：了解 Human-AI 互补的条件

    • 促进 Human-AI 互补

  • 挑战2：理解 AI 的心理模型

    • 提高心理模型评估能力

  • 挑战3：开发 Human-AI 交互的有效方法

    • 应该什么时候提供 AI 协助

    • AI 应该向人类呈现什么信息

    • 自适应和交互式 AI 辅助

  • 讨论与小结

✦

✦

 

 

人工智能（AI）在各个领域为人类提供了帮助。比如，Siri 可以帮助用户自动解决简单的任务；驾驶辅助系统可以改善驾驶体验；媒体平台给用户提供个性化的推荐内容……AI 在日常生活中可以节省人们的精力，避免决策盲点，甚至有可能拯救生命。然而，人类与 AI 的协作还面临着许多挑战，例如：AI 系统因传播偏见受到公众监督；AI 泛化到训练数据之外的能力较差；AI 系统以牺牲用户福祉为代价优化用户参与度……这些问题源于 AI 系统与人类用户的目标和价值观缺乏一致性。为了创建符合人类价值观和期望的人工智能，研究人员还需要设置反映人类价值观的效用函数，这至今仍是一种挑战。目前，AI 无法独立做出对人类来说准确、可接受且公平的决策。因此，在做出决策时，除了 AI 计算之外，还必须考虑人类决策者 (decision-maker, DM) 的专业知识和反馈。

 

AI 辅助决策（AI-assisted decision-making）中，AI 以预测（predictions）和/或解释（explanations）的形式向人类决策者提供帮助。例如，AI 系统辅助临床诊断、辅助和预测金融决策、辅助司法决策等。

 

本文具体描述了 AI 辅助人类决策时影响决策准确性的三个主要挑战：（1）如何开发能够与人类 DM 能力互补的 AI：当熟练的 AI 助手加入决策过程时，人类必须充分了解 AI 的能力和局限；（2）如何建立对于 AI 的准确心理模型，只有当人类知道如何利用 AI 来提高 Human-AI 组合的表现时，AI 才能充分发挥能力；（3）如何开发 Human-AI 协作中人机交互的有效方法，包括何时提供 AI 辅助以及提供哪些信息，AI 系统的设计需要适应人类认知限制的需要。认知模型有助于理解有效使用 AI 所面临的障碍。 

 

下文将分别针对这三种挑战展开进一步的介绍。

AI 辅助决策及三种主要挑战的现实示例

 

 

 

Challenge #1

了解 Human-AI 互补的条件

 

人类常以合作的方式来获得问题的更优解。对人类协作的先前研究表明，工作绩效的提高通常来源于团队成员之间的互补分工 (Stasser & Abele, 2020)。将 AI 引入人类工作流程中是希望通过利用人类 DM 和 AI 的互补优势来提高决策准确性。人们期望 AI 协助下的人类比没有协助时表现得更好（或至少不会更差）。许多研究达到这一基准是因为 AI 给人类提供的建议比人类自己决策的准确性更高。在这种情况下，人们可以遵循简单的启发式，即始终遵循 AI 的建议来提高决策表现。然而，这就提出了一个问题：在不考虑道德和法律的情况下，为什么需要人类参与决策过程。其中一个原因是，AI 辅助人类决策的表现不仅超过了人类单独的表现，同时超过了 AI 自身的表现，也就是 Human-AI「互补」（complementarity）。尽管研究中发现了这种情况，但有部分研究认为并不是人类 DM 在这种表现中做出贡献，而是 AI 自身的贡献 (Feng & Boyd-Graber, 2019; Green & Chen, 2019; Lai & Tan, 2019; Y. Zhang et al., 2020)。

 

区分无法实现互补的可能原因有助于了解 AI 辅助决策在何种条件下产生互补表现。首先，重要的是要了解人类 DM 和 AI 可以独立贡献哪些类型的信息，以及这些信息是否可以（理论上）实现互补。 例如，Steyvers 等人（2022）确定了分类（classification）领域互补的一般条件，他们调查了 3 种分类器组合：human–human、human–AI、AI–AI，结果表明，Human–AI 组合的决策表现可以超越 human–human 或 AI–AI 单独的表现。只要人类和 AI 预测之间的准确度差异保持在特定阈值以下，就能出现这种卓越的表现。该阈值取决于潜相关，亦即人类和 AI 预测之间的独立程度。当人类和 AI 预测之间的相关性较低时，将高度准确的 AI 预测与不太准确的人类预测结合（反之亦然）可以带来比单独人类或单独 AI 更好的表现。这符合对人类群体决策的研究结果，当群体由认知多样化的个体组成时，个体预测的统计组合可以带来准确的群体表现，从而产生不相关的预测 (Davis-Stober et al., 2015; Hong & Page, 2004)。

 

而在 AI 辅助决策中，最终的预测不是使用统计方法创建的，而是人类决策者内部认知过程的结果，人们必须将 AI 的预测与他们自己的独立信息结合起来。理想情况下，AI 越准确，人类越依赖 AI；AI 越不准确，人类越依赖自己的判断。为了确保适当的依赖程度，帮助人类正确识别 AI 的互补能力区域至关重要。需要通过展示 AI 信心或解释来帮助人类更好地理解 AI 决策。当人们意识到互补的本质时，就可以做出适当的决策。而人类 DM 是否可以利用好互补的潜力还未尝得知。因此，尽管存在互补的可能，但有可能由于人类 DM 对决策的依赖不理想，导致最终达不成互补的结果。

 

从统计角度来看，互补的可能也许从不存在（例如，人类和 AI 之间的表现差异可能足够大并且过相关），在这种情况下，即使人类可以做出最佳的依赖判断，也达不到互补的效果。要想识别 Human-AI 互补与否，方法之一是观察人类在 AI 辅助下做出最终决策和人类与 AI 独立决策在统计上合并的表现差异。然而，仅依靠外部统计方法来识别和利用 Human-AI 互补并不是一个可行的解决方案。因此，当讨论挑战 2 时，本文强调让人类 DM 为其 AI 助手建立适当的心理模型，从而更好地利用 AI 的互补能力。 

 

促进 Human-AI 互补

Improving Human–AI Complementarity

 

研究和开发人员需要进一步了解促成人类与 AI 互补的因素，并开发促进互补的新方法。在设计新的 AI 系统时需要考虑人类作为决策过程的一部分，在经过训练后，使系统可以优化人类利用 AI 进行决策时可预期的表现。此外，还需要更多的心理学研究来了解 AI 预测的独立程度如何影响人类决策。在人类团队中，研究者发现群体成员之间一定程度的认知多样性对团队绩效有积极贡献，但过度的认知多样性可能会对团队成员之间的沟通和最终绩效产生负面影响。同样，虽然人类和 AI 之间预测的独立性有助于互补，但与人类过度不同的 AI 预测可能不会被认为有用。因此，有必要进行更多的研究来了解可能阻止人类 DM 有效利用 AI 预测的心理限制。

 

 

Challenge #2

理解 AI 的心理模型

 

想要有效使用 AI 辅助还需要关注人类 DM 对 AI 建立的心理模型，包括其对 AI 的信念集合以及对与 AI 交互效果的期望等。心理模型是人类构建世界的简化表征，使人类能够花费较少的脑力劳动整合新信息并做出预测。AI 的无效使用可能是对其不完整和/或不正确的心理模型造成的。不正确的心理模型可能会导致对 AI 的过度依赖或错误信任，更深入地了解人们对 AI 的心理模型可以促进工作流程的设计，从而帮助人们制定适当的依赖策略，提高团队绩效。

 

而研究表明，人们对 AI 的看法非常不同。研究者区分了人们在体验 AI 前对 AI 的心理模型（主要由先验信念驱动）、对其他人的心理模型、以及体验 AI 后对 AI 的心理模型（通过与 AI 交互的体验形成）。

 

调查表明，在各种假设场景中人们如何利用 AI 建议和人类建议在很大程度上取决于场景的构建方式（任务领域、所知的 AI 能力的信息量、个体差异）。当可以选择时，人们更愿意在重要场合（特别是涉及生死的道德场景中）依赖人类而非 AI；而对于高度客观的任务（例如可量化的事实），对人类的偏好转化为对 AI 的偏好。在一些低风险的量化任务（例如根据照片估计体重或预测歌曲的受欢迎程度等）中，人们也更愿意听取 AI 算法的建议；此外，当给 DM 提供有关 AI 能力的数据时，人们对 AI 的依赖偏好会变得更强。人口学因素也会影响决策偏好：例如，年轻用户更愿意使用 AI 辅助驾驶。了解这些关于任务的偏好和对 AI 的期望非常重要，因为这些因素可能会影响人们在实际与 AI 交互时接受其建议的意愿。

 

另一组研究调查了人们在初次接触 AI 后对其的心理模型。调查结果乍一看似乎呈现出人们对 AI 的理解及相应依赖性的复杂情况。例如，在见证算法的表现（包括算法所犯的错误）后，人们更愿意依赖人类决策，而不是 AI 决策，尽管算法的表现实际上平均优于人类 DM。这一结果被认为表明，接触到 AI 的表现，特别是接触 AI 犯的错误，会导致「算法厌恶」（algorithm aversion），这可能是因为人们期望算法比实际表现更好。然而，这些研究面临着一个重要的局限性：虽然参与者逐渐熟悉了算法的表现，但他们只被要求做出一次决策决定，并且不知道决定后果。因此，这些结果不能用来回答有关人类是否有选择地使用 AI 建议的问题。

 

而在最近的研究 (M. Kelly et al., 2023; Liang et al., 2022; Tejeda et al., 2022) 中，参与者被提供了更多可供选择的依赖方案（比如人类 DM 被允许有选择地使用 AI 建议），在这些实验中没有发现算法厌恶的普遍存在。相反，Tejeda 等人（2022）的结果表明，参与者会采取灵活的依赖策略，人类 DM 对 AI 的依赖程度取决于 DM 自己的信心、AI 表现出来的信心以及 AI 的整体表现。这种灵活的依赖策略被证明是有效的，并且与最优策略的表现没有太大差异；其他研究发现，人们会考虑算法建议的准确性。值得注意的是，即使在没有明确的准确性反馈的情况下，人类 DM 也可以调整对 AI 的依赖：根据 DM 自己最自信的情况对 AI 准确性进行判断。此外，M. Kelly 等人（2023）还调查了 DM 对 AI 系统和其他人类在琐事中能力的评估。研究结果表明，人类 DM 对他人的评价很大程度上取决于其自己的认知能力，但这种相关性并不延伸到对 AI 的评估中；人们对 AI 的评估与他们的自我评估存在很大差异。此外，人们普遍期望 AI 在各种琐事任务中表现优于人类。

 

总体而言，人们对 AI 的心理模型取决于他们对 AI 的熟悉程度以及对 AI 决策结果的了解程度。有些熟悉 AI 能力但不了解自己决策和 AI 辅助决策后果的人可能会拥有不完整的心理模型，并且可能无法准确地表征 AI 相对于自己的差异能力。也许人们在接触到 AI 犯错后对 AI 评价的降低是正确的，但是他们自己在尝试解决同样的问题时可能不会表现得更好，甚至可能更糟。但是不论怎样，人们被告知了决策后果的这些研究表明，人们可以开发出更丰富的 AI 心理模型，来灵活地选择依赖自己或 AI 的决策。 当然，其他因素（例如 AI 系统和当下任务的复杂性）可能也会影响心理模型的保真度：例如一些研究侧重于相对简单的行为任务，不需要大量学习来制定有效的依赖策略。然而，在复杂的工业系统或与更高水平的自动化相关的军事应用背景下，人类 DM 可能无法完全理解系统的工作原理，因此可能会默认采取简单化的策略，例如不加区别地依赖人工智能。

 

提高心理模型评估

Improving the Assessment of Mental Models

 

如需了解人们对 AI 的心理模型需要在多个方向进行新的研究：（1）通过纵向研究了解人们的心理模式对 AI 信念的长期动态变化。随着时间的推移，这些心理模型会变得更加准确吗？（2）通过认知建模等方法推断心理模型的潜在内容，包括无法使用行为测量直接评估的决策策略和信念。鉴于人类与 AI 交互的心理模型编码了其自身能力和 AI 能力之间的感知差异，研究者还可以利用心理学中元认知的研究方法。（3）人类和 AI 的合作可能是通过简单的学习方法（例如无模型强化学习）来指导的，而不是通过对 AI 助手能力的明确心理化来指导。需要进一步的研究来确定个人在整合 AI 建议时是否开发了对其的明确表征或者是依赖于基本的启发方式。

 

 

Challenge #3

开发与 AI 交互的有效方法

 

开发相应的工作流和系统来帮助人类 DM 构建对 AI 助手的准确心理模型对于有效的人机协作来说至关重要。具体来说，本文考虑了影响人类 DM 使用 AI 辅助决策的两个主要选择：（1）何时提供 AI 辅助以及选择显示哪些信息。（2）如何考虑人类认知限制设计 AI 输出和人机交互的自适应方法。

 

何时向人类 DM 提供 AI 帮助？

When should AI assistance be presented to the human DM?

 

多项研究调查了在整个决策过程中不同时间点提供 AI 辅助的影响。这些操作旨在提高人们参考 AI 助手建议和解释的认知动机。研究者将这些建议分为以下几种：（a）并发（concurrent），（b）顺序（sequential），（c）按需（on demand），（d）延迟（time delayed）。

 

（a）并发范式中，当问题出现时，AI 建议会立即显示给 DM。（b）顺序范式在决策科学中被称为「法官顾问系统」（Judge Advisor System），其中 AI 建议仅在 DM 率先做出独立决策后才会显示。在收到 AI 建议后，DM 有机会更新他们的决定。一些研究表明，与人类独立决策相比，顺序范式提高了 AI 辅助决策的准确性 (Green & Chen, 2019)，可能是因为它鼓励 DM 独立反思，导致 DM 检索更多与问题相关的信息；不过也有其他研究表明这种差异不存在 (Buçinca et al., 2021; Tejeda et al., 2022)。

 

（c）按需范式允许人类 DM 有选择地寻求 AI 帮助。这种方法要求 DM 进行元认知的加工，包括评估 AI 助手相对于自己的专业知识并寻求其帮助。按需范式是顺序范式的变体，因为两者都鼓励 DM 在收到 AI 建议之前做出初步判断。Kumar 等人提出了这种元认知决策的计算模型。（d）延迟范式通过延迟提供 AI 建议的时间提高了决策准确性，这一种可能是因为这种延迟为人类 DM 提供了额外的时间来反思问题并改进自己的决策，从而降低了锚定效应。另一种方法是其改变了人们加工 AI 预测的时间量，Rastogi 等人表明，当有更多时间时，人们更有可能发现 AI 的错误。因此需要进一步调查以了解提供 AI 建议的时间的影响。

 

AI 应该向人类 DM 呈现什么信息

What information should the AI present to the human DM?

 

人类之间的建议采纳文献表明，人类往往会忽视他人的建议，因为他们无法了解他人的推理，对于 AI 建议也是一样的。研究表明，人类在接受 AI 建议时很容易出现各种误判和偏见。因此，开发可解释的人工智能（XAI），使 AI 生成建议的过程变得可见，是在人类和 AI 之间建立有效合作的关键。

 

「AI 信心 | AI confidence」

 

大多数 AI 系统可以计算其预测的信心区间，例如回归的置信区间或分类任务中准确预测的估计概率。这些信心测量可帮助决策者校准 AI 的心理模型，并确定 AI 何时可能做出错误的预测。与 AI 低信心的方案相比，人类 DM 更倾向于采用 AI 信心更高的解决方案(Y. Zhang et al., 2020) 。此外，Tejeda 等人（2022）发现 AI 和 DM 之间的信心差异会影响依赖决策。如果 AI 表现出高信心，而 DM 在独立决策中表现出低信心，则 DM 更有可能遵循 AI 的建议。

 

「AI 解释 | AI explanations」

 

人们开发出了多种技术以通过解释来增强 AI 预测。其中一种解释是识别有助于模型预测的一组特征 (Lakkaraju et al., 2022)，这些补充信息允许 DM 辨别 AI 的预测何时基于合理/有缺陷的推理，从而使他们能够相应地调整对 AI 系统的依赖。然而，人们并不完全认可特征归因方法的有用性：Bansal 等人表明，在 AI 仅表明其信心的基线条件下，提供特征归因并不能提高人类与 AI 的互补表现。这类解释只会增加人们采用 AI 建议的倾向，无论其正确性如何。研究者还提供了呈现 AI 解释的其他方法，例如让 AI 模型展示其认为与目标问题相似的一组示例，并演示这些特征如何在这些例子之间相互关联。这种方法可以帮助人类 DM 确定 AI 是否引用了适当的类，以及它是否准确地识别了特征之间的关系。

 

提供 AI 解释的一个潜在风险是，人类 DM 可能只是粗浅地加工了这些解释，并且可能会利用此类解释的存在作为模型准确性的启发式方法。因此，设计可以增加认知努力和分析思维的行为干预措施或许会让人们更有效地使用解释。为了提高 DM 的认知参与度，Gajos 和 Mamykina（2004）认为，仅显示 AI 解释（即只突出显示与问题相关的信息）而保留 AI 预测可能是有益的。

 

自适应和交互式 AI 辅助

Toward adaptive and interactive AI assistance

 

在上文中，研究者已经展示了很多证据表明提供更多有关 AI 的信息并不总是能提高决策表现。因为人类 DM 可用于加工 AI 建议的认知资源有限（尤其是在时间匮乏的情况下），所以让 AI 可以调整其输出内容（例如提供详略得当的解释）非常重要。过多的信息可能并不利于决策。因此，AI 系统的设计必须适应人类 DM 的认知局限性。需要开发合适的理论框架来判断何时向人类 DM 提供什么信息、提供多少信息，同时推断 AI 助手对人类认知和行为的影响。此外，在与 AI 合作时，可以利用心理学理论和计算模型来更好地理解人类认知。例如，在必须快速做出决策或需要不同程度的脑力劳动来加工 AI 输出的情况下，合理的资源分配理论可以用来识别人们何时因为感知到的收益不能回报于所付出的时间和脑力成本，从而忽视 AI 预测。

 

心理学和行为经济学的研究一直主张通过干预或「助推」（nudges）来引导人们的决策。助推计算理论的进步已经能够识别出最佳决策策略和有效反馈来指导决策。Callaway 等人证明（2022），AI 助手在获得有关决策过程的反馈时可以成功地促使人们采取最佳决策策略。同样，最佳游戏化策略（gamification）可以重新设计环境的奖励结构，使人们的长期目标与短期奖励保持一致。这种方法可以帮助人们克服短视的决策倾向，并在面对连续任务时以更有远见的方式行事。助推 AI 是自适应 AI 助手的强大例子，这种 AI 系统可以根据人们的能力进行定制，减少长期优化的认知负荷。

 

最后，一个重要的研究方向是让 AI 输出更具交互性（interactive）。Lakkaraju 等人没有以一次性输出的形式提供解释，而是强调了交互式人工智能系统（interactive AI systems）的重要性。在这些系统中，人类 DM 可以使用自然语言对话查询模型，了解其为何做出决策，通过一系列交互来阐明 AI 预测。交互式 AI 助手已被证明可以提高用户的接受度和信任度。例如，当医生能够在基于内容的图像检索系统中定制搜索时，诊断效用和信任度都会提高。因此，允许 DM 与 AI 助手进行沟通和交互可以提高人们对系统的理解。

 

Discussion

讨论

 

从上文中我们已经可以看到 Human-AI 协作中存在着很多有待发掘的潜力，但是在挖掘这些潜力的过程中，还有很多鲜被研究者意识到的局限性。首先，许多研究中使用的材料并不来自真实的 AI 模型，而是由研究者自己创建和模拟的模型输出（wizard-of-Oz 程序），这些程序会以预设的人类准确性水平做出决策。这种方法虽然简化了行为研究的过程，但它忽略了真实 AI 系统的一个重要方面：AI 决策在某种程度上与人类决策相关。其次，许多实验室研究仅涉及低风险决策问题，对参与者的专业知识要求较低。研究者尚不清楚这样得到的研究结果如何推广到更复杂和高风险的环境（例如医疗保健决策）。最后，大多数研究仅在有限的时间窗里（有些甚至仅关注单次决策）来评估人类对 AI 的理解，而这可能无法提供人类对 AI 选择性依赖的完整情况，因为仅关注单个实验阶段无法深入了解人类对 AI 的信念或依赖策略的长期变化。

 

如果未来 Human-AI 协作成为一种常态，那就需要将更多的因素考虑进来。人类动机理论（例如自我决定理论，self-determination theory）强调了感知自主权（perceived autonomy）的重要性，因为控制感和代理感可以提高整体的参与度和结果。如果人类决策者认为自己在决策过程中缺乏自主权，这可能会对其参与度产生负面影响，并最终导致更糟糕的决策结果。例如，Dietvorst 等人（2018）表明，允许人类 DM 干预算法的决策会导致该个体更加欣赏该算法，并在未来更可能使用该算法，哪怕算法在不干预的情况下会做出更好的决策结果。他们认为，允许人类拥有一定程度的控制权会带来更好的整体结果，从而避免人类完全拒绝使用算法的情况。在 AI 辅助决策的框架下，最终的决定权在人类手中，因此为人类的自主性留下了充足的空间。然而，与该框架相关的许多潜在因素可能会影响对决策的感知控制，进而影响人类依赖 AI 的意愿。比如，AI 通过不给出建议只提供信息来增加人类 DM 的参与度和代理感。对此，未来研究需要继续关注人类 DM 对 AI 的额外控制（如由人类确定 AI 解释的程度）如何影响最终绩效，因为这种方法虽然可能会增加代理感，但也可能导致认知超载和对现有信息的非有效利用。

 

关于人际互动的文献也可以给研究 Human-AI 交互的研究者以一定的启发，了解个体如何在重新评估和完善自己决策时整合他人的意见，可以更深入地了解人类如何依赖 AI 做出决策。对建议采纳的研究包括：建议的沟通和呈现、建议来源的可信度如何影响建议被接受的可能性等。采纳人类建议与 AI 建议中，人们都需要汇总多种意见以形成修正的判断，包括探索分配给不同建议的权重以及用于组合信息的策略；同时，采纳人类和 AI 建议时也存在显着差异：AI 建议（特别是涉及复杂的算法时）可能更难以理解或解释，而来自人类的建议通常更透明、更容易与 DM 产生共鸣。此外，人类建议可能受到情感和社会因素的影响，例如同理心和人际关系，但在接受 AI 建议中通常不存在这些影响。最后一点，使用 AI 生成的建议会引发道德问题，例如算法公平性和偏见。尽管人类的建议也可能存在偏见，但 AI 建议的伦理影响可能有所不同，从而导致该研究领域会面临独特的挑战。总体而言，尽管关于人类接受其他人类建议的研究和人类接受人工智能建议的研究有几个共同的主题，但人工智能生成的建议的独特之处为决策过程引入了新的维度，值得进一步探索。

 

尽管研究人员可以从人类对简单算法辅助决策和自动化依赖的广泛研究中得出见解，但本文的作者认为，当 AI 进行服务时，有几个不同的因素会发挥作用：AI 作为一个助手，而不是简单算法，能够提供超出单纯建议的各种信息，例如信心区间和详细解释，同时还具有适应人类 DM 认知限制的能力，允许全新工作流程的概念化，从而减少人类的工作量。 例如，人类和 AI 不是在个别问题上合作，而是可以合作定义规则，将整套问题划分为人类 DM 应该解决的部分以及 AI 很可能表现优异的部分。在这样的工作流程中，人类 DM 放弃了对某些决策问题的控制，但在定义 AI 解决的问题类型方面保留了高级控制。

 

不仅能提供表面帮助、而是真正成为人类 DM 队友的 AI 系统才能真正在帮助人类的过程中增加价值。要开发出这样的系统，还需要让 AI 也建立起对人类 DM 的心理模型。使 AI 能够推断人类 DM 的心理状态、专业知识、工作量、长期和短期目标以及信念。研究者认为计算认知模型可以在其中发挥关键作用，认知建模使研究人员能够对人类的潜在认知状态进行建模，并对他们未来的行为、信念和知识状态做出预测。最近，已经出现了 AI 辅助下人类决策过程的计算模型研究（Kumar et al., 2021; Oulasvirta et al., 2022; Tejeda et al., 2022）。这些模型是人类 DM 心理过程的近似模型，可用于开发对人类 DM 认知状态敏感的 AI 助手。不过，尽管让 AI 构建人类 DM 的明确心理模型是一种有效途径，但在某些情况下，AI 助手仅依靠基于认知科学原理的启发式方法可能就足够了（例如只展示与任务最相关的见解，避免过多的信息淹没 DM）。

 

对 AI 辅助决策的持续评估对确保提高绩效至关重要。当前的评估基于简单的实证指标，例如总体准确性和决策时间。然而，这些指标仅能提供关于决策过程的有限视角。相关研究人员有必要进一步理解和量化 AI 助手对于真正提供帮助的意义。上文中第一个挑战促使研究人员密切关注能够与人类能力互补并提供有用帮助的 AI 发展。并且，AI 助手推断人类对当前问题的理解以及人类对 AI 助手决策过程的理解可能非常有用。第二个挑战强调了建立正确心理模型并开发自适应 AI 助手的需要。最后，第三个挑战要求工程师进一步设计人机交互，使 AI 决策以人类 DM 的潜在认知状态为指导。

 

总之，为了优化 AI 辅助决策，科学家们不能只依靠改进 AI 或开发更好的方法来改进人类决策，还要考虑人类与 AI 助手交互相关的多种因素。最终，AI 系统发挥的不仅仅是静态信息提供者的简单角色，而可以追求更普遍的目标，例如最大程度地帮助人类、学习与人类 DM 互补的专业知识等。而要实现这些，需要结合来自人工智能、心理学和人机交互等多个学科的见解。

 

 

Summary

小 结

 

除了本文作者所提到的这三个主要挑战，随着 Human-AI 未来协作的深入，更多的协作复杂性将被引入，例如 AI 可能不仅在 1 vs 1 的决策互动中发挥作用，也可能在存在更多主体的群体决策中扮演着重要的角色，而先前有学者发现，群体决策中的 AI 系统和个体决策中的 AI 系统会面对决策者不同的信任程度和依赖策略（Chiang et al., 2023）。在诸如此类更为复杂的决策环境中，更需要人类决策者和 AI 助手对彼此的能力和当下的任务有着清晰的判断，选择何时接受建议以及接受何种建议与信息，在 AI 辅助决策的过程中持续跟踪与反馈决策表现以进行调整，最后对决策的结果做好评估与责任分配。要实现这样的 AI 辅助决策系统优化，需要各个环节研究人员和开发者的共同努力，也需要各个行业与 AI 助手紧密合作的从业者更广泛和深入的思想改变。

 

 

编译：朱思嘉

排版：朱思嘉

更多阅读

点燃通用人工智能的火花：GPT-4的早期实验

AI认知架构四十年：发展与挑战

2022年人工智能领域十大焦点回顾

 

参考文献

  • Abraham H., Lee C., Brady S., Fitzgerald C., Mehler B., Reimer B., Coughlin J. F. (2017). Autonomous vehicles and alternatives to driving: Trust, preferences, and effects of age. In Proceedings of the Transportation Research Board 96th Annual Meeting (pp. 8–12). International Transport Forum.

  • Aggarwal I., Woolley A. W., Chabris C. F., Malone T. W. (2015). Cognitive diversity, collective intelligence, and learning in teams. Proceedings of Collective Intelligence, 1(3.1), 3.

  • Arkes H. R., Dawes R. M., Christensen C. (1986). Factors influencing the use of a decision rule in a probabilistic task. Organizational Behavior and Human Decision Processes, 37(1), 93–110.

  • Bansal G., Nushi B., Kamar E., Horvitz E., Weld D. S. (2021). Is the most accurate AI the best teammate? Optimizing AI for teamwork. Proceedings of the AAAI Conference on Artificial Intelligence, 35(13), 11405–11414.

  • Bansal G., Nushi B., Kamar E., Lasecki W. S., Weld D. S., Horvitz E. (2019). Beyond accuracy: The role of mental models in human-AI team performance. Proceedings of the AAAI Conference on Human Computation and Crowdsourcing, 7, 2–11.

  • Bansal G., Wu T., Zhou J., Fok R., Nushi B., Kamar E., Ribeiro M. T., Weld D. (2021). Does the whole exceed its parts? The effect of AI explanations on complementary team performance. In Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems (pp. 1–16). Association for Computing Machinery.

  • Benjamin D. M., Morstatter F., Abbas A. E., Abeliuk A., Atanasov P., Bennett S., Beger A., Birari S., Budescu D. V., Catasta M., Ferrara E., Haravitch L., Himmelstein M., Hossain T., Yuzhong H., Joseph R., Leskovec J., Matsui J., Mirtaheri M., . . . Galstyan A. (2023). Hybrid forecasting of geopolitical events. AI Magazine, 44(1), 112–128.

  • Bhatt U., Antorán J., Zhang Y., Liao Q. V., Sattigeri P., Fogliato R., Melançon G., Krishnan R., Stanley J., Tickoo O., Nachman L., Chunara R., Srikumar M., Weller A., Xiang A. (2021). Uncertainty as a form of transparency: Measuring, communicating, and using uncertainty. In Proceedings of the 2021 AAAI/ACM Conference on AI, Ethics, and Society (pp. 401–413). Association for Computing Machinery. Crossref

  • Bigman Y. E., Gray K. (2018). People are averse to machines making moral decisions. Cognition, 181, 21–34.

  • Bonaccio S., Dalal R. S. (2006). Advice taking and decision-making: An integrative literature review, and implications for the organizational sciences. Organizational Behavior and Human Decision Processes, 101(2), 127–151.

  • Buçinca Z., Lin P., Gajos K. Z., Glassman E. L. (2020). Proxy tasks and subjective measures can be misleading in evaluating explainable AI systems. In Proceedings of the 25th International Conference on Intelligent User Interfaces (pp. 454–464). Association for Computing Machinery.

  • Buçinca Z., Malaya M. B., Gajos K. Z. (2021). To trust or to think: Cognitive forcing functions can reduce overreliance on AI in AI-assisted decision-making. Proceedings of the ACM on Human-Computer Interaction, 5(CSCW1), 1–21.

  • Burton J. W., Stein M.-K., Jensen T. B. (2020). A systematic review of algorithm aversion in augmented decision making. Journal of Behavioral Decision Making, 33(2), 220–239.

  • Bussmann N., Giudici P., Marinelli D., Papenbrock J. (2021). Explainable machine learning in credit risk management. Computational Economics, 57, 203–216.

  • Cai C. J., Reif E., Hegde N., Hipp J., Kim B., Smilkov D., Terry M. (2019). Human-centered tools for coping with imperfect algorithms during medical decision-making. In Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems (pp. 1–14). Association for Computing Machinery.

  • Callaway F., Hardy M., Griffiths T. (2022). Optimal nudging for cognitively bounded agents: A framework for modeling, predicting, and controlling the effects of choice architectures. PsyArXiv. Crossref

  • Callaway F., Jain Y. R., van Opheusden B., Das P., Iwama G., Gul S., Lieder F. (2022). Leveraging artificial intelligence to improve people’s planning strategies. Proceedings of the National Academy of Sciences, USA, 119(12), Article e2117432119. Crossref

  • Castelo N., Bos M. W., Lehmann D. R. (2019). Task-dependent algorithm aversion. Journal of Marketing Research, 56(5), 809–825.

  • Chen C., Feng S., Sharma A., Tan C. (2022). Machine explanations and human understanding. arXiv. Crossref

  • Chiang, C.-W., Lu, Z., Li, Z., & Yin, M. (2023). Are Two Heads Better Than One in AI-Assisted Decision Making? Comparing the Behavior and Performance of Groups and Individuals in Human-AI Collaborative Recidivism Risk Assessment. Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems, 1–18. https://doi.org/10.1145/3544548.3581015

  • Chong L., Zhang G., Goucher-Lambert K., Kotovsky K., Cagan J. (2022). Human confidence in artificial intelligence and in themselves: The evolution and impact of confidence on adoption of AI advice. Computers in Human Behavior, 127, Article 107018. Crossref

  • Christian B. (2020). The alignment problem: Machine learning and human values. W.W. Norton.

  • Chugunova M., Sele D. (2022). We and it: An interdisciplinary review of the experimental evidence on how humans interact with machines. Journal of Behavioral and Experimental Economics, 99, Article 101897. Crossref

  • Consul S., Stojcheski J., Felso V., Lieder F. (2022). Leveraging AI for effective to-do list gamification. In Marky K., Grünefeld U., Kosch T. (Eds.), Mensch und Computer 2022 - Workshopband. Gesellschaft für Informatik e.V. Crossref

  • Craik K. J. W. (1952). The nature of explanation (Vol. 445). CUP Archive.

  • Cummings M. L. (2017). Automation bias in intelligent time critical decision support systems. In Harris D., Lu W.-C. (Eds.), Decision making in aviation (pp. 289–294). Routledge.

  • Davis-Stober C. P., Budescu D. V., Broomell S. B., Dana J. (2015). The composition of optimally wise crowds. Decision Analysis, 12(3), 130–143.

  • De A., Koley P., Ganguly N., Gomez-Rodriguez M. (2020). Regression under human assistance. Proceedings of the AAAI Conference on Artificial Intelligence, 34(3), 2611–2620.

  • Dietvorst B. J., Simmons J. P., Massey C. (2015). Algorithm aversion: People erroneously avoid algorithms after seeing them err. Journal of Experimental Psychology: General, 144(1), 114–126.

  • Dietvorst B. J., Simmons J. P., Massey C. (2018). Overcoming algorithm aversion: People will use imperfect algorithms if they can (even slightly) modify them. Management Science, 64(3), 1155–1170.

  • Feng S., Boyd-Graber J. (2019). What can AI do for me? evaluating machine learning interpretations in cooperative play. In Proceedings of the 24th International Conference on Intelligent User Interfaces (pp. 229–239). Association for Computing Machinery.

  • Gabriel I. (2020). Artificial intelligence, values, and alignment. Minds and Machines, 30(3), 411–437.

  • Gajos K. Z., Mamykina L. (2022). Do people engage cognitively with AI? Impact of AI assistance on incidental learning. In 27th International Conference on Intelligent User Interfaces (pp. 794–806). Association for Computing Machinery.

  • Gebru T. (2020). Race and gender. In Dubber M. D., Pasquale F., Das S. (Eds.), The Oxford handbook of ethics of AI (pp. 251–269). Oxford University Press.

  • Gershman S. J., Horvitz E. J., Tenenbaum J. B. (2015). Computational rationality: A converging paradigm for intelligence in brains, minds, and machines. Science, 349(6245), 273–278.

  • Gino F., Moore D. A. (2007). Effects of task difficulty on use of advice. Journal of Behavioral Decision Making, 20(1), 21–35.

  • Glikson E., Woolley A. W. (2020). Human trust in artificial intelligence: Review of empirical research. Academy of Management Annals, 14(2), 627–660.

  • Green B., Chen Y. (2019). The principles and limits of algorithm-in-the-loop decision making. Proceedings of the ACM on Human-Computer Interaction, 3(CSCW), 1–24.

  • Grgić-Hlača N., Castelluccia C., Gummadi K. P. (2022). Taking advice from (dis)similar machines: The impact of human-machine similarity on machine-assisted decision-making. arXiv Crossref

  • Grgić-Hlača N., Engel C., Gummadi K. P. (2019). Human decision making with machine assistance: An experiment on bailing and jailing. Proceedings of the ACM on Human-Computer Interaction, 3(CSCW), 1–25.

  • Himmelstein M. (2022). Decline, adopt or compromise? A dual hurdle model for advice utilization. Journal of Mathematical Psychology, 110, Article 102695. Crossref

  • Hoffman R. R., Mueller S. T., Klein G., Litman J. (2018). Metrics for explainable AI: Challenges and prospects. arXiv. Crossref

  • Hong L., Page S. E. (2004). Groups of diverse problem solvers can outperform groups of high-ability problem solvers. Proceedings of the National Academy of Sciences, USA, 101(46), 16385–16389.

  • Jayles B., Kim H. R., Escobedo R., Cezera S., Blanchet A., Kameda T., Sire C., Theraulaz G. (2017). How social information can improve estimation accuracy in human groups. Proceedings of the National Academy of Sciences, USA, 114(47), 12620–12625. Crossref

  • Kameda T., Toyokawa W., Tindale R. S. (2022). Information aggregation and collective intelligence beyond the wisdom of crowds. Nature Reviews Psychology, 1(6), 345–357.

  • Kelly C. J., Karthikesalingam A., Suleyman M., Corrado G., King D. (2019). Key challenges for delivering clinical impact with artificial intelligence. BMC Medicine, 17(1), Article 195. Crossref

  • Kelly M., Kumar A., Smyth P., Steyvers M. (2023). Capturing Humans’ mental models of AI: An item response theory approach. In Proceedings of the 2023 ACM Conference on Fairness, Accountability, and Transparency (FAccT ’23) (pp. 1723–1734). Association for Computing Machinery. Crossref

  • Koriat A., Levy-Sadot R. (1999). Processes underlying metacognitive judgments: Information-based and experience-based monitoring of one’s own knowledge. In Chaiken S., Trope Y. (Eds.), Dual-process theories in social psychology (pp. 483–502). The Guilford Press.

  • Kumar A., Patel T., Benjamin A. S., Steyvers M. (2021). Explaining algorithm aversion with metacognitive bandits. Proceedings of the Annual Meeting of the Cognitive Science Society, 43. https://escholarship.org/uc/item/7xc470dt

  • Lai V., Carton S., Bhatnagar R., Liao Q. V., Zhang Y., Tan C. (2022). Human-AI collaboration via conditional delegation: A case study of content moderation. In CHI ’22: Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems (pp. 1–18). Association for Computing Machinery.

  • Lai V., Chen C., Liao Q. V., Smith-Renner A., Tan C. (2021). Towards a science of human-AI decision making: A survey of empirical studies. arXiv. Crossref

  • Lai V., Tan C. (2019). On human predictions with explanations and predictions of machine learning models: A case study on deception detection. In Proceedings of the Conference on Fairness, Accountability, and Transparency (pp. 29–38). Association for Computing Machinery.

  • Lakkaraju H., Slack D., Chen Y., Tan C., Singh S. (2022). Rethinking explainability as a dialogue: A practitioner’s perspective. arXiv. Crossref.

  • Lee J. D., See K. A. (2004). Trust in automation: Designing for appropriate reliance. Human Factors, 46(1), 50–80.

  • Lewis R. L., Howes A., Singh S. (2014). Computational rationality: Linking mechanism and behavior through bounded utility maximization. Topics in Cognitive Science, 6(2), 279–311.

  • Liang G., Sloane J. F., Donkin C., Newell B. R. (2022). Adapting to the algorithm: How accuracy comparisons promote the use of a decision aid. Cognitive Research: Principles and Implications, 7(1), 1–21.

  • Lieder F., Chen O. X., Krueger P. M., Griffiths T. L. (2019). Cognitive prostheses for goal achievement. Nature Human Behavior, 3(10), 1096–1106.

  • Lieder F., Griffiths T. L. (2020). Resource-rational analysis: Understanding human cognition as the optimal use of limited computational resources. Behavioral and Brain Sciences, 43, Article e1. Crossref

  • Lieder F., Shenhav A., Musslick S., Griffiths T. L. (2018). Rational metareasoning and the plasticity of cognitive control. PLOS Computational Biology, 14(4), Article e1006043. Crossref

  • Logg J. M. (2017). Theory of machine: When do people rely on algorithms? (Working Paper No. 17-086). Harvard Business School.

  • Logg J. M., Minson J. A., Moore D. A. (2019). Algorithm appreciation: People prefer algorithmic to human judgment. Organizational Behavior and Human Decision Processes, 151, 90–103.

  • Lu Z., Yin M. (2021). Human reliance on machine learning models when performance feedback is limited: Heuristics and risks. In Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems (pp. 1–16). Association for Computing Machinery.

  • Lubars B., Tan C. (2019). Ask not what AI can do, but what AI should do: Towards a framework of task delegability. In Proceedings of the 33rd International Conference on Neural Information Processing Systems (pp. 57–67). Curran Associates Inc.

  • Moore D. A., Cain D. M. (2007). Overconfidence and underconfidence: When and why people underestimate (and overestimate) the competition. Organizational Behavior and Human Decision Processes, 103(2), 197–213.

  • Nguyen G., Kim D., Nguyen A. (2021). The effectiveness of feature attribution methods and its correlation with automatic evaluation scores. Advances in Neural Information Processing Systems, 34, 26422–26436.

  • Nishikawa R. M., Bae K. T. (2018). Importance of better human-computer interaction in the era of deep learning: Mammography computer-aided diagnosis as a use case. Journal of the American College of Radiology, 15(1), 49–52.

  • Oulasvirta A., Jokinen J. P., Howes A. (2022). Computational rationality as a theory of interaction. In CHI Conference on Human Factors in Computing Systems (pp. 1–14). Association for Computing Machinery.

  • Parasuraman R., Riley V. (1997). Humans and automation: Use, misuse, disuse, abuse. Human Factors, 39(2), 230–253.

  • Park J. S., Barber R., Kirlik A., Karahalios K. (2019). A slow algorithm improves users’ assessments of the algorithm’s accuracy. Proceedings of the ACM on Human-Computer Interaction, 3(CSCW), 1–15.

  • Pescetelli N., Hauperich A.-K., Yeung N. (2021). Confidence, advice seeking and changes of mind in decision making. Cognition, 215, Article 104810. Crossref

  • Pescetelli N., Yeung N. (2021). The role of decision confidence in advice-taking and trust formation. Journal of Experimental Psychology: General, 150(3), 507–526.

  • Poursabzi-Sangdeh F., Goldstein D. G., Hofman J. M., Wortman Vaughan J. W., Wallach H. (2021). Manipulating and measuring model interpretability. In Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems (pp. 1–52). Association for Computing Machinery.

  • Raji I. D., Buolamwini J. (2019). Actionable auditing: Investigating the impact of publicly naming biased performance results of commercial AI products. In Proceedings of the 2019 AAAI/ACM Conference on AI, Ethics, and Society (pp. 429–435). Association for Computing Machinery.

  • Rajpurkar P., O’Connell C., Schechter A., Asnani N., Li J., Kiani A., Ball R. L., Mendelson M., Maartens G., van Hoving D. J., Griesel R., Ng A. Y., Boyles T. H., Lungren M. P. (2020). Chexaid: Deep learning assistance for physician diagnosis of tuberculosis using chest x-rays in patients with HIV. NPJ Digital Medicine, 3, Article 115. Crossref

  • Rastogi C., Zhang Y., Wei D., Varshney K. R., Dhurandhar A., Tomsett R. (2022). Deciding fast and slow: The role of cognitive biases in AI-assisted decision-making. Proceedings of the ACM on Human-Computer Interaction, 6(CSCW1), 1–22.

  • Russell S. (2019). Human compatible: Artificial intelligence and the problem of control. Penguin.

  • Ryan R. M., Deci E. L. (2000). Self-determination theory and the facilitation of intrinsic motivation, social development, and well-being. American Psychologist, 55(1), Article 68. Crossref

  • Sayres R., Taly A., Rahimy E., Blumer K., Coz D., Hammel N., Krause J., Narayanaswamy A., Rastegar Z., Wu D., Xu S., Barb S., Joseph A., Shumski M., Smith J., Sood A. B., Corrado G. S., Peng L., Webster D. R. (2019). Using a deep learning algorithm and integrated gradients explanation to assist grading for diabetic retinopathy. Ophthalmology, 126(4), 552–564. Crossref

  • Schaffer J., O’Donovan J., Michaelis J., Raglin A., Höllerer T. (2019). I can do better than your AI: Expertise and explanations. In Proceedings of the 24th International Conference on Intelligent User Interfaces (pp. 240–251). Association for Computing Machinery.

  • Shen Z., Liu J., He Y., Zhang X., Xu R., Yu H., Cui P. (2021). Towards out-of-distribution generalization: A survey. Crossref

  • Smyth M. M., Collins A. F., Morris P. E. (1994). Cognition in action. Psychology Press.

  • Stasser G., Abele S. (2020). Collective choice, collaboration, and communication. Annual Review of Psychology, 71, 589–612.

  • Steyvers M., Tejeda H., Kerrigan G., Smyth P. (2022). Bayesian modeling of human–AI complementarity. Proceedings of the National Academy of Sciences, USA, 119(11), Article e2111547119. Crossref

  • Taesiri M. R., Nguyen G., Nguyen A. (2022). Visual correspondence-based explanations improve AI robustness and human-AI team accuracy. Advances in Neural Information Processing Systems, 35, 34287–34301.

  • Tejeda H., Kumar A., Smyth P., Steyvers M. (2022). AI-assisted decision-making: A cognitive modeling approach to infer latent reliance strategies. Computational Brain & Behavior, 5, 491–508. Crossref

  • Thaler R., Sunstein C. R. (2008). Nudge: Improving decisions about health, wealth and happiness. Simon & Schuster.

  • Vodrahalli K., Gerstenberg T., Zou J. Y. (2022). Uncalibrated models can improve human-AI collaboration. Advances in Neural Information Processing Systems, 35, 4004–4016.

  • Wang X., Lu Z., Yin M. (2022). Will you accept the AI recommendation? Predicting human behavior in AI-assisted decision making. In Proceedings of the ACM Web Conference (pp. 1697–1708). Association for Computing Machinery.

  • Wilder B., Horvitz E., Kamar E. (2020). Learning to complement humans. arXiv. Crossref

  • Wilder B., Horvitz E., Kamar E. (2021). Learning to complement humans. In Proceedings of the Twenty-Ninth International Conference on International Joint Conferences on Artificial Intelligence (pp. 1526–1533). Association for Computing Machinery.

  • Yin M., Wortman Vaughan J., Wallach H. (2019). Understanding the effect of accuracy on trust in machine learning models. In Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems (pp. 1–12). Association for Computing Machinery.

  • Zhang Q., Lee M. L., Carter S. (2022). You complete me: Human-AI teams and complementary expertise. In CHI Conference on Human Factors in Computing Systems (pp. 1–28). Association for Computing Machinery.

  • Zhang Y., Liao Q. V., Bellamy R. K. (2020). Effect of confidence and explanation on accuracy and trust calibration in AI-assisted decision making. In Proceedings of the 2020 Conference on Fairness, Accountability, and Transparency (pp. 295–305). Association for Computing Machinery.

 

 

 

Mindverse Research

心识研究院

 

心识浩渺连广宇

心识宇宙研究院，致力于在即将到来的元宇宙数字时代，研究和创造真正等价于人类意识水平的数字生命，目前已经综合多种研究进路和方法规划出一条通向AGI和人工意识的道路。在后续内容运营上，我们也会介绍和创造更多有关人工智能、意识科学、元宇宙方面最新的研究成果和原创内容。

 

欢迎有志者关注和加入我们的研究！

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除