当前，算法歧视已是AI领域老生常谈的问题，从近年来颇受关注的AI歧视事件来看，这些偏见常见于招聘、司法、贷款、入学、移民等算法评估工具。

为此，各界都在致力于探索消除AI偏见的技术和途径，部分组织已取得了一些有益成果。2021年6月22日，美国国家标准技术研究所（NIST）发布《关于识别和管理人工智能歧视的标准提案》（A Proposal for Identifying and Managing Bias in Artificial Intelligence），并向社会公众征求意见。

随后，7月29日，NIST提出制定《人工智能风险管理框架》(Artificial Intelligence Risk Management Framework)并征询各界意见，该AI风险管理框架旨在帮助AI的设计者、开发者、使用者以及评估者更好地管理AI生命周期中可能出现的风险。NIST希望在此基础上推动建立涵盖AI系统整个生命周期的共通性标准和风险管理框架，促进可信、可负责AI理念和技术的实现。

那么，AI在其生命周期中可能存在哪些偏见？产生偏见的原因是什么？我们又应如何识别和减少AI偏见？本文将结合《提案》的内容回答这些问题。

AI 系统歧视性风险的主要来源

首先，在数据集的选择上，AI通常难以对数据的偏见进行标识描绘和管理，原因在于其只能通过可量化、可观察的数据来构建模型和概念。其次，在数据集的获取上，目前大部分AI系统在获取数据集时会优先考虑数据是否易于收集，是否存在可获得的数据来源，而非优先判断该类数据集是否合适，能否满足AI应用的功能和目的。再者，在数据集的训练上，AI系统在训练过程中可能展现出数据集中的历史和社会偏见，或是不当地使用受保护的特征（种族、性别、年龄、地区等）。最后，NIST认为，未经验证的算法模型也是引发AI偏见的重要来源。

为此，NIST提出，可针对AI系统在不同场景下的运作建立统一的AI歧视性风险管理机制，而非针对每个具体使用场景寻找特定解决方案，这将更加富有成效。

歧视性风险管理需贯穿AI生命周期

NIST结合了CoE、OECD等现有文件的相关内容，提出了关于人工智能系统风险管理的三个关键阶段，即预设计阶段、设计开发阶段、部署阶段，并强调要发挥多利益相关方在三个阶段中的参与作用，充分汲取和兼顾不同的反馈意见和研发理念，提升人工智能系统决策的包容性和多元性。

预设计阶段：可能面临问题表述不清(Poor problem framing)、数据驱动路径导致的虚假关联(spurious correlations from data-driven approaches)、无法建立合理的因果关系机制(failing to establish appropriate underlying causal mechanisms）、整体性的技术缺陷等问题。

NIST认为，在预设计阶段减少偏见的有效举措包括以下几个方面。首先，要以解决问题为导向，树立正确的系统研发理念，确保研发者以合乎伦理和道德的方式设计算法。其次，设计者应关注AI在实际运行环境中的未知影响。再者，应避免对AI产品的夸大宣传和过度营销。

设计开发阶段：主要涵盖AI系统的建模、验证、开发等关键过程，其中的参与人员包括软件设计者、工程师以及负责AI风险管理（算法审计、参数评估和验证）的数据科学家等。在这个阶段，在AI模型的设计和选择上，研发者会倾向于追求模型的准确性。其次，如果AI系统使用不具有代表性的群体数据来预测个人行为，也可能产生偏见结果。

NIST在《提案》中提到了一种激励机制，即“文化有效挑战”(cultural effective challenge)，其旨在为技术人员提供一个充分的评估环境，使之能够针对AI的建模和开发阶段提出问题或进行挑战，帮助研发者从根源上识别出统计性偏差(statistical biases)以及人为决策中的内在偏见。

NIST建议针对特定的应用场景开发相对应的算法模型工具，算法决策目的与特定用例之间的一一对应，避免在用例的范围之外设计和研发算法决策工具。

AI的研发团队应和领域专家、产品终端用户等人员紧密合作，在研发过程中充分考虑多方主体的意见和利益，使得算法工具的决策结果体现出文化的多样性和包容性。

部署阶段：指用户与已开发的AI系统进行交互的过程。许多AI工具在进入部署前通常省略了专家审核这一步骤，导致AI工具在实际运作背离其设计初衷而输出偏见结果。没有直接使用AI工具的公众可能会受到个人权益遭致减损的风险：用户数据被滥用、AI决策的差异化风险。

NIST针对AI部署阶段的各类提出了相关的缓解措施。在机制上，最关键的是要对上述部署过程中可能出现的环境偏差进行监测和审计，确保AI生命周期潜在风险的可视化和可追溯。在技术上，研发者可采用反事实解释技术(counterfactual fairness)来消除AI在实验环境和现实部署环境之间的偏差。在结果上，应尽可能识别出AI在部署期间蕴含的社会歧视，确保AI在决策的准确性和公平性之间应做出合理的权衡与取舍。

结论

NIST认为，AI歧视性风险管理的最终目标不是实现零风险（实际上也无法做到），而是在AI生命周期中有效识别、理解、衡量、管理和减少AI的潜在偏见。为此，NIST提出，管理AI系统的歧视性风险应从以下维度出发，一是制定与AI偏见的术语、测量以及评估相关的技术标准和指南；二是基于特定应用场景（context-specific）的方式管理和识别AI偏见，即对于AI在不同建模阶段中可能出现的歧视风险，需要在特定的运行环境下对其进行识别和防范；三是在设计、开发和部署AI过程中，应当兼顾研发者、部署人员以及终端用户等利益相关者的意见，在开发算法模型和构建训练数据集时充分考虑各方利益，以提高AI决策的包容性和多元性，推动可负责、可信任AI的实现和落地。

内容中包含的图片若涉及版权问题，请及时与我们联系删除