Evaluating Human-AI Collaboration: A Review and Methodological Framework

在工作环境中，人工智能（AI）与个人合作，被称为人工智能协作（HAIC），在许多领域中已经成为决策、效率和创新的重要推动力。尽管HAIC具有广泛的潜力，但由于涉及的组件相互作用复杂，评估其有效性仍然具有挑战性。本文对现有的HAIC评估方法进行了详细分析，并开发了一种新的范式，以更有效地评估这些系统。我们的框架包括一个结构化的决策树，它有助于根据不同的HAIC模式（AI中心、人类中心和共生）选择相关的指标。通过包括定量和定性指标，该框架旨在代表HAIC的动态和相互作用的特性，使其影响和成功得以评估。该框架的实用性可以通过在制造业、医疗保健、金融和教育等各个领域的应用进行检验，每个领域都有其独特的挑战和要求。我们希望本研究能促进对HAIC在实际应用中进行系统评估的进一步研究。

如何更有效地评估人工智能与人类合作的效果，以便在制造、医疗、金融和教育等领域中应用？

提出了一种新的评估框架，包括结构化的决策树和定量和定性指标，以代表人工智能与人类合作的动态和相互作用，从而评估其影响和成功。

该框架的实用性可以通过在制造、医疗、金融和教育等领域中的应用进行检验。该论文还提供了详细的现有评估方法分析，并提出了新的评估范式。

最近的相关研究包括“人工智能与人类合作的可持续性”（Sustainability of Human-AI Collaboration）和“人工智能与人类合作的设计原则”（Design Principles for Human-AI Collaboration）。