Towards a Responsible AI Metrics Catalogue: A Collection of Metrics for AI Accountability

人工智能（AI），特别是大规模生成式AI（GenAI）模型，如大型语言模型（LLMs），已成为当代技术中的一项变革性因素。虽然这些模型开启了新的可能性，但同时也带来了重大挑战，例如对数据隐私的关注和生成误导性或虚假内容的倾向。目前的“负责任AI”（RAI）框架常常无法提供必要的具体应用指导，尤其是在关键的问责制原则方面，这一原则对于确保透明和可审计的决策、增强公众信任和满足日益增长的监管期望至关重要。本研究通过引入一个全面的指标目录来弥补问责制方面的差距，该指标目录是通过系统的多声部文献综述（MLR）制定的，整合了学术和灰色文献的研究结果。我们的目录界定了支撑程序完整性的过程指标、提供必要工具和框架的资源指标以及反映AI系统输出的产品指标。这个三部分的框架旨在对GenAI的复杂性进行问责制操作。所提出的指标目录为在AI系统中确立问责制提供了一个强有力的框架。它为组织提供了实用的、可操作的指导，从而塑造了该领域的负责任实践。

如何在大规模生成AI模型（GenAI）中实现负责任的人工智能（RAI）？

提出了一个三部分的指标目录，旨在操作化GenAI中的责任，包括过程指标、资源指标和产品指标。

该指标目录为组织提供了实用的、可行的指导，帮助塑造领域内的负责任实践。

最近的相关研究包括对大规模生成AI模型的隐私和误导问题的探讨，以及对负责任AI框架的发展。