主持人： 过去几年，人工智能的发展速度大家有目共睹。从最初的内容生成、智能问答，到现在已广泛应用于招聘、医疗、金融、教育、政务服务等诸多场景。AI已经不再仅仅是提高效率的工具，而是日益深入地参与到人类的判断、筛选乃至辅助决策过程中。

在此背景下，围绕人工智能的讨论重点也在发生转变。我们关心的已不再仅仅是模型的性能、生成效果或应用规模，更关注其在运行过程中是否公平、安全以及是否可解释。更重要的是，出现风险后，责任如何认定？人在关键环节中是否仍保留必要的监督和判断地位？

为此，今天的讨论聚焦于《人工智能应用伦理安全指引1.0》。我们希望借助这份指引，与各位专家共同探讨人工智能应用从开发、服务提供到实际使用的全过程，如何将伦理安全要求融入企业治理、产品设计和社会应用场景。

今天的讨论围绕，五个主要问题展开：

🔶 伦理指引在治理体系中的定位。

🔶 全链条治理下的责任配置。

🔶 高风险场景中的AI决策边界。

🔶 商业应用中的算法歧视防范。

🔶 如何打通从规则到企业实践的落地路径。

主持人：在正式进入第一个议题之前，先来关注一个近期发生的案件。杭州互联网法院审理了全国首例生成式人工智能幻觉侵权纠纷案。用户使用某生成式AI应用查询高校报考信息时，AI提供了不准确的内容。在用户指出错误后，AI仍旧坚持错误信息。法院最终认为，AI本身不具备民事主体资格，其生成的赔偿承诺不当然产生法律效力。服务提供者是否承担责任，仍需根据其是否尽到合理注意义务、用户是否存在实际损害等问题进行判断。

这个案件非常典型，它说明当AI开始以非常自然的语言参与咨询，甚至做出承诺时，传统法律规则并非总能直接解答所有问题。例如，AI生成内容的可信边界在哪里？服务提供者应做出怎样的风险提示？用户如何理解AI的输出？平台是否已尽到合理的注意义务？这些问题既尖锐，又涉及法律与伦理安全。

因此，围绕第一个议题，我们想讨论的是：基于指引1.0，在当前人工智能治理体系中，究竟应当如何定位？

主持人：第一个问题，想请教段老师。结合刚才提到的AI幻觉高校报考信息案，生成式AI错误输出背后涉及可信边界、风险提示和用户认知等问题。您如何理解《人工智能应用伦理安全指引1.0》在当前人工智能治理体系中的定位？

段伟文（中国社科院人工智能研究促进中心研究员）：我国对人工智能的治理和伦理规范十分重视，在最近这十年左右的时间里，先后出台了一些文件。然而，真正带来广泛应用并促使人们重视其伦理安全影响的是生成式人工智能或大模型的出现。在此之前，主要是深度学习或判别式人工智能。

最近发布的《人工智能应用伦理安全指引1.0》，其指导思想首先在于让我们从伦理安全影响的角度对AI的风险形成规范性的认知。为此，它提出了一些理念、原则和行为指引。我认为，指引反映了人工智能最新的发展，这些发展在伦理安全层面导致了对人类主导权、公共秩序等方面的影响。这说明我们正走向一个智能社会，人工智能赋能千行百业，最终形成一种拥抱智能社会趋势。

这份文件是在网络文明大会上发布的，网络文明大会实际上是从智能文明建设的角度来审视当前的网络发展。也就是说，它已经超出了通常意义上的网络安全、人工智能安全的定义。

《指引》的作用在于，从我国的经验来看，人工智能平台以及网络的治理具有连续性，而伦理安全是其中一个重要的抓手。虽然人工智能立法还在进行中，伦理理念可以通过伦理审查来实现，但如何对近10年来数字（数智）治理工作中推出的各种原则、标准和管理办法及其指导思想的合理性做出阶段性的阐释？我认为，在连接人工智能伦理及安全治理相关工作的意义上，这份伦理安全指引起到了一个桥梁的作用，可以视为对政产学研在人工智能治理相关的伦理规范、安全规制等各方面的工作进行一个阶段性的总结。《指引》的制定者是人工智能治理工作的亲历者，《指引》既纳入了中国在人工智能治理历程中的各种理念与原则，也动态体现了当前生成式人工智能创新应用的最新发展态势。

《指引》没有停留在抽象的原则层面，而是针对开发者、服务提供者、使用者等不同主体的行为提出了专门要求，由此明确了伦理安全治理的对象是人工智能应用相关群体，这为下一步人工智能治理工作的深化落实提供了重要的抓手。总之，在走向智能社会和智能文明的门槛上，它起到了一个承前启后的桥梁作用。

主持人：第二个问题，想请教张律师。在现有部门法中，已有很多原则性规范，例如民法上的诚实信用、公平原则，反不正当竞争法中的商业道德和公平竞争要求等。但在具体案件中，这些原则如何适用，往往需要结合具体技术场景来判断。您认为指引能否为法院解释这些原则，判断平台注意义务和合理风控措施提供更具体的参照？

张延来（垦丁律师事务所主任律师）：首先，我想谈谈当前司法实践中，尤其是在涉及AI的案件中，法院是如何适用原则的。目前，相当一部分AI相关案件不得不求助于原则，因为在人工智能相关的侵权领域，尚缺乏特别详细、颗粒度细致的明确法律规定。立法尚不完善。

在现有判例以及我们自己或同行办理的案件中，法院通常会首先审视具体部门法中有哪些原则，然后考察这些原则在以往非人工智能的类比案件中是如何处理的。例如，对于网络服务提供者，包括传统的网络服务平台，法院会参照适用于它们的判断原则，如“避风港”原则、“红旗”原则，并将这些具体的适用标准平移到人工智能平台的责任判断上。

第二种方式是结合行业内已形成的、大家普遍认可的判断标准。法院会关注行业内有代表性的企业通常遵循的标准，或者行业协会提供的公约等，从中寻找更详细的判断规则。

再者，则需结合法官在审案过程中对具体案情的充分了解。双方当事人会尽量提供详细的案情信息，法官会根据这些情况进行判断。

然而，我前面提到的这三种情况，在适用原则时，对于人工智能案件而言，都不是特别精确和明确的。基本上都是参考，或者需要法官进行自由裁量。这对于法官的要求很高，也很有挑战性。在实践中，我们甚至遇到过同样的案情，在不同法院、由不同法官处理时，对法律适用、原则适用的理解完全相反，做出了截然相反的判断。这种情况都已出现。这说明目前这类案件在适用原则时，确实存在不确定性因素。

回到我们现在的《人工智能应用伦理安全指引1.0》，我已阅读相关内容，我认为其中一些内容可以为判例中适用原则提供更精细的参照。例如，我注意到6.1条，其表述是“涉及信息资讯与传播的，坚持真实可信与清朗生态导向，推动人工智能提升优质内容供给和传播效率，同时维护传播秩序和受众权益，避免出现违法违规的内容”。

这让我想起我最近刚办结的一个AI种草案件，影响也很大。该案中，法院最终主要适用了反不正当竞争法的程序原则。而诚信原则的适用，在具体场景下，即被告开发了一个专门用于生成种草型内容的AI工具。这种行为是否诚信，是否符合诚信原则的要求，参考以往判例会比较困难。但是，如果参考我们指引中上述表述，它恰好对应上了。它应用于信息传播和资讯场景，提到了“真实可信”和“清朗生态导向”。种草文案本身应基于真实的购买经验和感受，发布到平台会影响消费者的消费决策，因此对真实性要求很高。此时，专门开发一个工具，让AI凭空捏造生成种草文案，一旦发布到种草平台，对用户的误导性非常强，显然不符合“真实可信”和“清朗生态导向”的规定。因此，如果有这样一条，就可以为法院引用程序原则提供更明确的参考。所以，我认为这份指引具有很大的积极作用。

主持人： 那第三个问题，想请教来自阿里的傅老师。指引虽然不是具体的技术标准，但也会影响到企业在识别风险、设定研发边界和形成治理共识。您认为它对产业界最大的作用是什么呢？是价值倡导，还是帮助企业形成风险识别和治理框架的基础性文件？

傅宏宇（阿里研究院AI治理中心主任）：我的初步判断是，我们应该如何理解这份指引？它的核心价值不是一套自顶向下的规则体系，而是对于我国人工智能伦理治理实践的采纳，以及推动一种敏捷协同的伦理治理机制。从指引的起草人员来看，吸纳了学界和产业界很多专家的参与，它其实是基于我们人工智能企业和产业在人工智能治理总体框架下，对于伦理治理相关实践的提炼，而不是从头设计一套规则让大家去执行。它是把大家已经在做的事情提炼出来，形成共同的参照。所以，它非常重要的一个特点是，其内容来源于实践，而非顶层设计。

因此，我认为，这份指引是整个企业在进行风险识别和伦理治理实践中的一个“最大公约数”。这代表着指引具有很强的适用性和指导意义，无论企业是互联网大厂还是初创公司，无论行业是金融还是教育，都能在指引中找到如何做好伦理治理的相应参考。它没有给行业设置过高的门槛，而是核心地帮助所有人工智能相关企业，包括不同能力水平、不同应用场景的企业，推动伦理建设，提供了一个共同的基线，因此它是一份“最大公约数”和“最大共识”的文件。

当然，我们也需要看到，人工智能科技伦理本身具有高度的复杂性和动态性。AI技术迭代非常快，正如段老师已经提到的，特别是人工智能的深化发展，人工智能伦理本身的边界也在快速变化。例如，以前更关注物质分配的公平性，以及在人类决策过程中是否尊重人的决策权、维护人的主体性。到了生成合成人工智能场景，正如张律师所讲，很多时候是生成内容本身的真实性、幻觉以及形成的错误依赖。包括我们在指引中提到的，现在比较关注AI带来的情感依赖，以及对未成年人和老年人等特殊群体带来的脆弱性和伤害性风险。

因此，这份文件并非试图涵盖所有AI伦理问题，而是提炼出了我们在人工智能发展到当前阶段需要重点关注的领域。基于我们已识别到的人工智能带来的伦理风险和潜在的社会影响，提出了一套治理架构和责任框架。我认为，它在凝聚共识的同时，保留了很好的制度性弹性。

这份文件还有另一个非常重要的定位，即伦理治理应指向能力建设，而不完全是风险防控。伦理是对人工智能在安全之外的更高要求，是负责任的人工智能未来发展的核心目标——以人为中心，服务于人的福祉。

在这个过程中，我们会发现，伦理治理本身除了是合规义务，更多的是一种公共产品，让大家能够知道不同类型的主体，都能了解到不同类型AI技术在不同场景应用对应的伦理要求是什么，以及如何去实现一个更加负责任、有温度的技术。

规制本身可以划定底线，但规制无法生成能力。这一点也是我们认为指引非常重要的一个重点方向，也是当前国际人工智能治理中最核心的议题，即“capacitybuilding”（能力建设）。指引在很多内容中也指向了，能力需要在实践中积累，在协作中放大。

因此，我的总体判断是，指引不是给企业设置更多障碍，而是帮助行业“修路”，让大家意识到伦理的重要性以及核心风险，同时建设一种更加公共化、公开化的能力，帮助各类AI主体（无论是技术提供方、应用开发方还是具体使用方）负责任地用好技术，让技术为人类福祉发挥最大价值。

主持人：我们刚才这一部分主要讨论了指引的功能定位。进一步来看，如果伦理安全要求要真正进入产业实践，首先需要明确的是不同主体之间的责任关系。指引本身也区分了应用开发者、服务提供者和使用者三类主体，并分别设置了应用开发指引、服务提供指引和应用使用指引。那么，在这样一个链条结构下，各方责任究竟如何分配，也成为了一个非常现实的问题。

主持人：我们第二个议题主要想探讨人工智能应用全链条的主体责任配置。目前大模型应用往往涉及基础模型接口调用、垂直应用开发、平台运营和终端使用等多个层级。技术链路越长，责任边界往往越容易模糊。一旦出现错误输出、歧视性结果或安全风险，各主体之间可能围绕模型来源、场景控制和用户行为进行责任切割等。

第二个议题中的第一个问题，想先请教来自阿里研究院的傅老师。请教您，结合这类生成式AI侵权争议来看，风险往往不是到内容传播之后才出现，而是在模型能力开放、应用场景设计、平台规则设置和用户交互的过程中就已经逐渐形成风险。站在企业实践角度来看，指引区分应用开发者、服务提供者和使用者，对于企业识别自身角色、明确治理边界有什么意义？

傅宏宇：我觉得这是一个非常重要的问题，它也直击了我们现在整个人工智能科技伦理治理里面最核心的命题。

我想先回顾一个背景：传统的科技伦理治理是怎样做的？我们发现，在传统的技术领域，主要是按照一个从技术研发、应用开发到最终使用这样一个流程，去设置相应的伦理审查的“卡点”。例如，在生命科学领域，从基础研究到动物实验、临床实验再到上市审批，其伦理审查是线性的，每个阶段都设置了相应的伦理审查卡点。这套机制运转得相对成熟。

然而，在讨论人工智能技术本身的发展时，我们会发现人工智能与生命科学存在较大差异。人工智能的开发、部署和使用并非如此线性的流程化。包括模型训练、微调、提示词工程，例如后期的强化学习、当前的智能体编排，其路径非常多样化。如果按照传统流程去设置伦理治理的卡点，既难以统一，又容易出现遗漏。

因此，从我的理解来看，指引采取了另一种思路，即按照人工智能产业链的基础形态去拆分不同类型的主体，而不是按照流程去进行切分。开发者、服务提供者和使用者，这种分层治理机制是对AI产业生态结构的一个非常现实的映射。不同类型的主体在整个产业链中承担不同的功能，拥有不同的控制力，也面对不同的风险。

例如，技术提供方可能对训练使用的数据、算法模型等有更深入的了解，因此对技术本身控制力较强。服务提供者则由于是产品设计、服务提供以及用户反馈的第一线责任人，他们可能对服务带来的具体风险和伦理要求有更多的感知和认知。因此，我们对这些不同功能、不同控制力以及不同风险的主体，设置了不同的伦理义务。开发者关注安全前置和数据的选择；服务提供者更多关注运行的监控和人工的干预；使用者则需要关注理性的认知和合规的使用。

从制度协调性的角度来看，当前指引中的分类，与我国现行AI治理体系在结构上具有很好的衔接基础。特别是《互联网信息服务深度合成管理规定》，也明确区分了技术支持者、服务提供者、使用者，这与指引的分类逻辑一致。在相关的具体落地标准中，包括支撑《生成式人工智能服务管理暂行办法》的相关标准，也对提供者和使用者有相应的区分。

这意味着，我们指引中设置的这套伦理治理体系，并不需要另起一套合规体系，而是可以有效地、非常合理地嵌入到我们现有人工智能企业现有的风险管理框架中。企业也不需要为伦理再搭建一套全新的治理机制。

当然，这样一套分类体系也是一个起点，而非终点。产业链也在不断变化，例如智能体的出现正在模糊开发和服务的边界。未来的分类优化，可以在1.0版本之后，例如在2.0版本中讨论。

另外一个问题是角色交叠问题。像互联网大厂的企业，可能同时是模型的提供方、应用的开发方和平台方，多个角色并存。在这种情况下，如何识别一个企业内部的具体角色，进行义务分配，我觉得是一个比较重要的问题，需要在后续的立法或司法实践中进行判别。

我的初步判断是，我们不能避重就轻，不能为了选择义务最轻的定位而改变业务模式。最核心的一点是，对于最终具体主体属于哪种类型的责任方，可能除了自己提供证明以外，还要通过透明度、可审计义务，包括具体做了什么事情、是否参与模型开发、是否推动了产品设计和服务的提供，根据三方可审计的透明化证据做出明确判断。这一点又会和后面的透明度和可审计的伦理要求进行有效衔接。

主持人：第二个问题，想请问张律师。一个AI生成结果背后，可能同时涉及到模型提供方、应用开发方、平台服务方和终端使用者。从法律上看，我们应当如何判断这些主体之间的责任边界呢？尤其是平台，既是AI工具，又参与模型引导、参数设置、内容审核和内容分发时，什么情况下仍属于中立的技术服务？什么情况下，可能因为未尽到合理注意义务而承担责任？

张延来：这个问题在实践中确实是一个备受关注的问题。而且，我们注意到，在没有人工智能这个业态之前，网络服务提供者也是会结合其提供的服务类型来判断其责任边界的。民法典对此有明确规定，在出现网络侵权的情况下，要求网络服务提供者结合各种因素，其中一个就是结合其自身的具体提供的服务类型来采取必要措施。这实际上是从以前的侵权责任法第36条演变过来的，所以现有的法律框架里实际上有一些相应的判断依据。

然而，这个问题在人工智能领域会变得相对更复杂。但我个人觉得，可以参考在传统的网络服务提供者的立法或司法实践中已经形成的责任分层认定的方向，去做一些类比。例如，以往的传统网络服务提供者，基本上可以分为几个层次：

第一层是最底层的，也就是网络接入服务，好比电信、移动等。这类服务位于最底层，适用技术中立，注意义务最小，因为它们对于实质性内容的管控能力、分发参与度以及最终收益都很小，它们其实相当于一个底层的设施。除了它们以外，还有像我们以前处理的小程序案件、云计算案件，这些基本上都属于比较底层的，它们的注意义务相对最小。

再往中层一点，就是一些网络服务的平台。这些平台聚合内容，但内容并非其自身提供，而是来自第三方用户。对于这类平台，实践中适用的往往是“避风港”和“红旗”原则。也就是说，对于明显有问题的内容，平台需要主动处理；但对于不明显的，只要接到权利人的投诉，及时采取必要措施即可。

再往上，就是应用层的，即你直接开发了一个具体的应用，在某个场景下，提供具体服务，面向具体对象，并且对内容信息的管控能力最强，相关的收益也基本上到了你这里。那么，你承担的就是直接侵权责任。所以，在没有人工智能服务之前，其实这个分层框架就已经存在了。

我们可以相应地进行一些类比。我个人认为，例如底座模型，也就是通用基础大模型，可以类比为网络接入服务提供商。因为它提供的无非是模型能力，尽力提升模型性能，使生成内容符合用户要求即可。它并不关心具体生成的内容是什么，只要求内容的生成精准性和丰富度。在这种情况下，底座模型应承担的注意义务应该是最低的，责任相对最轻。

中间层，也就是人工智能的平台，可以类比以往的平台。像我们办的“奥特曼”案件，就是杭州互联网法院审理的，它就是一个典型的人工智能平台，搭了一个平台，用户去使用它的模型能力。但是，在这个过程中，上面出现的内容，比如“奥特曼”具有高度可识别度和知名度，并且在你这个平台出现的情况很多。这种情况下，可能就要适用“红旗”原则，而不是“避风港”，也就是说不能被动地等待通知。在“奥特曼”案件中，法院也是这样判的，平台需要承担帮助侵权的责任。

最后，应用层，即你是基于底座模型或平台，开发了一个具体的、像AI种草这种应用的AI工具，在具体场景下，对具体用户收费。那么，你的注意义务肯定是最高的，出现的侵权责任你承担的也是直接侵权责任。所以，这个分层的框架可以借鉴过来。

只是说，刚才傅老师也讲了，这个问题也非常典型。在AI产业里面，现在很多情况下，各个层级之间不分得那么清楚。有些时候，一个网络服务提供者既兼具底座模型，可能还做一些应用层面的东西。当它的身份出现重叠时，责任边界如何划分，我觉得这个问题可能更多地要在个案中进行判断。

但从我目前接触到的司法实践来看，有这么一个规律：如果身份出现重叠，则肯定是以越往上层、越偏应用层的身份，即以注意义务和责任更重的身份来要求。因为你确实也兼具了这个角色，而不会因为你仅仅拥有更底层的身份，就减轻你的注意义务等。大概是这么一个方向。当然，这在实践中肯定远远没有摸索出一个特别具体的标准和共识，还需要更多的案例，或者像我们这样的伦理指引这样的规则出现。

主持人：议题二的第三个问题，想请教段老师。开发端和服务端都聊到了，链条最后一环是我们这些实际使用者。除了企业责任，使用者素养也是指引第6.4条专门关注的内容。随着生成式AI进入写作、绘画、办公、教育和咨询等日常场景，使用者也可能成为风险扩散链条中的一环。段老师，您认为应当如何理解使用者的伦理安全素养？这种对用户的要求又应当如何和企业的平台治理责任相衔接呢？

段伟文：当前，人工智能应用已经成为我们走向智能社会和智能文明的标志。它不仅关系到企业和产业的发展，更深刻影响着每个人的学习、工作和日常生活。对于使用者来说，首先应该对人工智能技术的实质有所了解和思考。

无论是开发者、服务提供者还是普通使用者，我们每个人最终都是使用者。从哲学角度来看，值得特别强调的是：对每个人来说，人工智能实质上是一种认知技术。但谈到认知，需要区分两种不同意义的认知。第一种认知指人们在知识发现意义上对世界的具体事实的认知，即人们可运用人工智能获得关于世界的知识（有据可依的事实与解释）。人工智能驱动科学发现、人脸识别、算法决策等都是知识发现意义上的认知技术，借助它们可以得到事实、理论、方法、思想等知识性的内容，但也会导致隐私、偏见、歧视等方面的伦理风险。

第二种认知指知识内容意义上人们对符合事实的知识（关于世界的真实与合理的信念）的认知（认识）。哲学上的认识论或知识论专门研究这种意义上的认知（认识），并强调只有真实与合理的信念才称得上知识。

可以自动生成声音、图像、视频、自然语言与知识表述的生成式人工智能（包括深度合成）是这种意义上的认识技术，它们的应用远比知识发现意义上的认知技术普遍，人工智能生成内容日益成为人们获取知识内容的主要途径。随着人工智能对一般使用者的知识获取的介入的普遍化，使用者对由此产生的伦理安全风险的认识变得越来越重要。

在数智时代，如果一个系统向我们提供错误信息、制造认知幻觉，它所影响的不仅是某一个具体判断，而是我们鉴别信息内容真实性和知识的可靠性的认识过程。概言之，人工智能现在已经影响到每一个人对于世界的认知，以及他所掌握学习到的知识的真实性与可靠性。

在这一认识的基础上，再来讨论使用者的伦理安全素养和应用使用指引，就比较容易理解了。人之所以为人，在于能够认识世界并改造世界。人工智能首先是帮助我们认识世界的工具，而随着智能体等自主智能系统的发展，它也正在进一步成为影响和改造世界的工具。因此，每一个使用者都需要理解人工智能参与认知和行动的基本机制。可以说，所有关于人工智能的伦理安全素养，最终都建立在对智能社会、智能文明以及人机协同认知过程的理解之上。

理解了这一点，《指引》6.4应用使用指引中各个条款的内涵就比较清晰了。从6.4a“正确认知人工智能”到6.4f“提高人工智能素养”这一表述结构不难看到，人工智能伦理安全素养首先建立在对人工智能的正确认知之上。而正确认知人工智能的关键是对人工智能的认知过程的理解。我们现在使用的生成式人工智能，是基于合成的数据产生的合成的知识，它本身是概率性的和相关性的。当然，从计算语言学和哲学上讲，它呈现的是一种向量空间中的关联等等。

但是，作为人类，我们不是去寻求知识的统计值、平均值，而是具体的事实和知识。如果认识到人工智能作为认知技术的实质，就不难意识到，这些具体的事实和知识是人们的生活和行动的前提。进而想到，在你无条件地接受甚至依赖AI输出的时候，遇到了差错，就有风险，有的是伦理风险，有的是法律风险，还有的是安全风险。这些风险往往是交织在一起的综合性的风险。当然，安全风险更受重视，我们用“伦理安全指引”这样一个抓手切入人工智能治理会更有效，更有利于促使使用者通过提升其素养保护自身获得真实的知识内容等认知权利。

我们可以看到，这些伦理指引的内容，正像刚才傅老师所讲的，实际上是基于经验的总结。因为是基于经验总结，指引中的条款之间并没有过于追求那种表述上对称关系或层级的关系。有的是原则性的，有的是重点性的说明。6.4b首先指出“适度应用人工智能”，具体内容则是对正确认知和使用人工智能情感服务的指引。因为经验表明，人工智能情感服务中的过度依赖、过度沉迷、替代现实交往等是当前人工智能应用使用中值得关注的重点，这些风险就作为重点列出来了。

但是，我们也可以看到，对用户而言，要达到指引的要求或形成相应的伦理素养，实际上是比较难的。现在很多人遇事不决就问AI，哪会想那么多？由于在人工智能应用中不同群体的认知和行为是所以这就涉及到怎么与对应用开发者、服务提供者的要求结合起来，这就涉及到对用户的要求如何与企业的平台治理责任相衔接。

结合《指引》的内容，在“6伦理安全指引”中，6.1是通用指引，6.2、6.3、6.4分别是应用开发指引、服务提供指引和应用使用指引。从《指引》的表述结构上来看，三个指引的内容并不是严格的一一映射关系，在文本上没有刻意追求形式上的周密，因为作为面向真实世界的指引，对不同群体的具体要求会对当前的经验和关切事项有所侧重，不会面面俱到。

所以，我们在使用这个指引的时候，就要认识到，对于一些原则性和概述性的内容要认真解读，力求举一反三。比如6.3服务提供指引的第一条：“选择符合伦理影响规范的人工智能应用目标，理性引导社会认知服务能力与边界，及时提示可能风险，避免对使用者造成误导。”其中虽然没有专门讲情感服务，但结合6.4应用使用指引中第二条对人工智能情感服务使用者的要求，就应该根据服务提供指引的这一条落实对人工智能情感服务提供者的相应要求，与应用使用指引对使用者的要求相互支撑和相互补充。

换言之，在人工智能应用实践中，伦理安全是基于相关群体共同努力的整体性的工作。应用开发指引、服务提供指引和应用使用指引实质上建立在三个不同角度对人工智能安全风险的基本认知之上，因此，《指引》的使用应该强调不同群体在认知上的互补，加强不同主体承担着不同层面的风险认知和风险治理职责，并通过相互配合形成协同治理机制。

此外，应用使用指引的提出和对用户的伦理安全素养的重视也体现出人工智能治理与传统消费者保护的重要区别，这也是由人工智能作为认知技术这一实质所决定的。在一般消费场景中，消费者更多是被保护者，产品安全和服务质量主要由生产者和服务提供者负责。而人工智能产品和服务则直接参与到人的认知活动之中，影响人们的判断、决策和行为。

因此，使用者本身也必须具备一定程度的伦理安全风险意识和认知能力。相应地，这一全新的伦理安全态势，对人工智能应用开发者、服务提供者的伦理安全影响认知能力等伦理安全素养也提出了更高的要求，这无疑有助于促进多元互补的协同治理格局的形成。

最后要强调的是，《指引》对于人工智能治理的价值不仅在于具体条文层面的行为规范，更重要的是其中所提出伦理安全理念与伦理安全原则及其背后的伦理精神与安全价值观。

面对未来人工智能的发展，有些问题可能只是现有风险的延伸，我们可以直接从既有经验和规范中寻找答案。但面对各种新问题，仅靠既有条文是不够的，还需要回到对人工智能本质的理解，回到对人工智能时代伦理精神和安全价值观的理解之中，然后去探索新的应对之道。

主持人：刚才我们讨论的是议题二，聚焦“谁来负责”的问题。责任主体理清之后，一个更核心的问题也随之出现：AI在决策链条中到底处于什么位置？

因为在一些高风险场景中，AI的输出已经不仅影响用户体验，更可能直接影响个人的机会、财产利益，甚至健康和安全。接下来，我们进入第三个议题：不可解释AI的决策限制与人类主体权的保卫战。

在正式展开之前，先看一个与辅助驾驶有关的案例。最高人民法院指导性案例271号“王某群危险驾驶案”明确指出：车载辅助驾驶系统不能代替人成为驾驶主体。即便开启辅助驾驶功能，驾驶人仍负有确保行车安全的责任；如果通过私自安装配件等方式逃避系统监测，也仍需承担相应法律责任。

这个案例虽然发生在交通领域，但它提出的问题具有普遍意义：当系统越来越智能，人类在决策中究竟扮演什么角色？

在招聘筛选、金融风控、医疗辅助诊断、教育评价、公共服务等场景中，都存在类似问题。系统可以给出评分、排序、风险提示或诊断建议，但如果人工复核只是“点击确认”，如果工作人员事实上完全依赖系统输出，那么AI究竟是在辅助决策，还是已经替代人类作出了判断？

主持人：第一个问题，想请教来自阿里研究院的傅老师。请问傅老师，在招聘、金融、医疗等场景中，系统可能会给出评分或风险提示。虽然规则上保留了人工复核，但实践中，人工复核可能会受到业务量和专业门槛的影响而流于形式。站在企业实践角度来看，应该如何区分AI辅助决策和AI实质性决策？企业应该如何避免人工复核变成对系统结果的形式确认？

傅宏宇：我觉得这个问题非常深刻，可能也是人工智能伦理中一个非常重要的议题，那就是人机关系建设，以及人如何去对机器进行有效控制。当然，这个命题随着人工智能技术本身的发展，它也在不断变化。

我觉得在整个人工智能发展相对早期的一个阶段，当时技术能力相对较弱，人工智能系统的自动化程度可能也不是特别高。在那个时候，我们看到在立法方向上，还是其他一些文件里，都强调了人要作为最后的责任人，去对技术进行确认和把关。在英文里叫做“humanintheloop”，甚至是“humanovertheloop”这样的基本要求。

在刚才讲到的自动驾驶，包括我们在其他高风险领域，我觉得这套方案依然适用，特别是专业人士作为最后的把关人员，对AI提供的辅助性建议进行最终确认。一方面它是一个程序性的要求，另一方面也是一个责任承担的具体确认环节。所以，我觉得整个“人类参与AI决策”其实有一个程序正义和实质正义两个层面的伦理要求。

程序正义，就是大家比较熟悉的，人去对AI做出的无论是决策还是生成的这个内容，去做确认和复核。同时，另外一个程序，即对影响到主体性的AI决策，个人有权退出、有权复议。

这样的一个正义设定，本质上是将人定位成一个“gatekeeper”（把关者），在流程的末端做最终审核。但我觉得，随着AI能力变得越来越强，特别是随着智能体本身的出现，AI也会越来越多的去接管人类的决策链路，智能化闭环的倾向也会更加明显。所以，我觉得在这样的背景下，仅靠程序性正义，也就是说把人放在最后做审核，会和技术的现状出现比较大的矛盾，也会比较吃力。因为决策链路在变快，人工干预的窗口在收窄。同时，智能化本身对效率的要求，代表着时效性在不断提高。那么，“gatekeeper”模式在一个非常复杂、智能化的场景下，可能会出现能力不够、够不着的情况。

所以，我想讲的是，真正面向未来，我们觉得人机关系构建，其实是一种实质性的正义。那就是说，人不能仅仅作为“gatekeeper”去做最后的审核，或者是因为AI没有法律主体性去承担对应责任，而是要从真正的人机关系和谐共生的角度，实质性地帮助AI系统做出正确、更符合伦理的决策和具体行为。而不是先让AI做决定，人来投赞成票或否决票，而是在AI执行的过程中，就已经嵌入了人的价值选择。我觉得这一点非常重要。这一点也和我们在议题一讨论的，我们整个的指引定位，对实践的采纳和敏捷协同是一脉相承的，也就是说，要把伦理从一种外部的约束转化为技术内生的能力属性。

所以，我觉得针对高风险领域，还有一个更重要的伦理要求，就是不能仅仅依赖人工复核。因为高风险领域的伦理要求需要一种系统级别的响应。我觉得这一点非常重要。我们最后对高风险领域的伦理性判断，不能简单地放在一个人的身上，它需要一个体系性的建设。我觉得有三个方面：

第一，模型本身要针对这些高风险领域，有更高的安全水平和更准确的专业知识。
第二，要把这些高风险领域人类的专业能力融合到AI体系之中。
第三，在高风险领域，我们通过智能化执行过程，包括数据安全、外部工具调用的安全性，也要做同步提升。

因此，我觉得对高风险领域的伦理治理，最后一定是一个综合治理的方案，而不能把所有的伦理要求和安全希望都压在“人来复核”这一件事情上，要在系统层面做出总体的安全和伦理设计。

主持人：这个问题也想请教张律师。很多企业都会设置人工复核机制，但人工介入也会影响到AI系统的效率。结合自动驾驶、医疗辅助诊断、金融授信、招聘筛选等高风险场景，从法律和合规角度，您认为人工干预应当设置在哪些关键节点呢？才算真正必要和有效平衡效率和安全？

张延来：首先，我要强调一点，正如傅老师刚才所讲，在人工智能场景下引入人工审核和介入，应遵循一个大前提：不要轻易引入人工负荷。这确实会影响人工智能执行的效率和效果，因为人工智能本身就是一种高度自动化、智能化的技术。

因此，首先要做的应该是确保人工智能系统的“入场资格”。特别是在自动驾驶、医疗辅助、金融、招聘等高风险场景下，如果人工智能系统无法达到非常完备的效果，其错误出现的概率等指标达不到要求，那么它就不具备入场资格。所以，事前应对系统提出很高的要求。只有当系统达到了相应标准后，才允许其进入这些场景。

系统进入之后，才涉及到人工介入和复核的问题。关于在哪些关键节点引入人工，我认为应遵循一个原则：当人工智能即将产生影响用户财产和人身权益的结果时，应考虑人工介入和复核。我这里说的是“考虑”，原因在于：如果我们经过相对科学的测试，发现人工智能在产生此类结果时，其判断能力确实不如人工介入后的判断能力，那么此时才应引入人的介入和复核。

反之，如果人工智能的结果实际上远优于人工介入的情况，那么即便会产生重大结果，也未必需要人工介入。例如，以自动驾驶为例，当前技术大致处于L2到L3水平，意味着在某些特殊情况下，自动驾驶系统无法处理，需要交由人类接管，这种情况理应交给人类。但如果自动驾驶技术继续发展，达到L4或L5级别，其表现已远超人类驾驶水平，那么届时就应彻底禁止人的介入，因为人为干预反而可能导致更差的结果，甚至立法应直接禁止。因此，在介入节点上，我的观点是：当结果影响用户的重大财产和人身权益，且人类的表现明显优于人工智能时，才应叫人介入。

此外，还需要为人工介入的节点、判断时间和机会提供充分保障。这不仅要在立法和程序层面，更要在技术层面给予相应支持，以避免人工介入沦为形式。正如我们之前提到的法院判决的自动驾驶案例所示，必须确保人有实质性的参与，真正发挥作用。同时，也应制定颗粒度更细的标准，明确介入人员的资格、判断逻辑与标准，并确保其介入行为可查、可追溯，以便未来复盘、优化乃至追责。我认为，这些配套机制都应建立起来，才能真正实现人机配合，形成既必要又高效、且能平衡效率与安全的效果。

主持人：接下来，我们要请教段老师。请您从伦理治理的角度回应一下指引第6.3条提出的：“服务涉及国家安全、社会公共利益、组织和个人重大生命财产安全时，人工智能仅承担辅助决策作用，不提供直接的决策依据。”那么，在招聘、医疗、教育评价、金融活动等场景中，我们应如何理解这一限制？以及它背后所强调的是技术可解释性的要求，还是人类在重大利益判断中不可被替代的主体地位？

段伟文：我认为这有一个前提：如果说人工智能技术的能力基本上是我们人类可以认识的，并且在涉及安全、财产、医疗等主要方面，其水平仍略逊于人类最高水平的认知，那么此时谈论人类的主体性、自主性和主导权是没有问题的。

我这么说的意思是，这里面其实存在一个悖论。无论我们对人工智能的发展持悲观或乐观态度，它目前实际上处在一个临界状态。这个临界状态与以往截然不同。例如，哲学家波兰尼曾提出“默会知识”的概念，即你会游泳但无法言说如何游泳。后来，日本人在知识创新管理中提出，群体可以将个体的默会知识转化为群体知识。而如今，AI的出现正在打破这一原则——那些所谓的默会知识或技能，AI也能够学到。

因此，我们现在面临智能生态的变革，正处于一个人类智能与机器智能可能发生翻转的阶段。这是一个悖论：如果AI不如人，那么“人在环中”等要求自然成立；但如果AI强于人，那么无论是由人做最后审核，还是完全交给AI，都会面临困境。在涉及重大利益时，这种悖论尤为突出。

以医疗为例，如今医疗人工智能已在医生与患者之间形成了一种新的三方关系（医、AI、患）。许多人看病前会先咨询AI，再去“考”医生。在此过程中，我们当然仍要坚持主要决策由人做出，AI仅承担辅助决策作用，不提供直接决策依据。但我认为，这种情况很可能很快会发生变化，甚至在国家安全领域也是如此。基辛格在其最后一本书中就提到，未来的国际地缘政治博弈，很大程度上将取决于最聪明的智能体，而非传统的人类智库。

总结一句话：如果人类的最高智能水平依然高于人工智能，那么坚持由人做出判断是毋庸置疑的。然而，即使在此情形下，问题也很复杂和微妙，因为机器的认知是客观的，而与算法设计者一样，人在复核时也可能基于自身利益做出抉择。如果说机器所掌握的知识水平远远超越人类，我们或许需要进行一些新的思考和探索。

在这样一个临界态，人工智能的使用可能演变为一种新的社会契约，甚至是一种技术政治选择。例如，假设国与国之间爆发战争，我们是要用AI来做军事决策，还是由人类来做？目前来看，因为AI并未统治人类，人类仍有选择权，可以决定哪些问题完全不用AI。职场中的矛盾也体现了这一点：一方面HR用AI筛选简历，另一方面求职者用AI优化简历。

我们甚至看到一些现象：面试者发现面试官在用大模型鉴别候选人，在线面试的候选人用大模型回答问题；心理医生在治疗谈话时，被病人发现其在用大模型辅助诊疗。因此，从伦理治理的角度，我们必须牢记：并非技术能做到的，我们都应该去做。正如《菊与刀》中所述，东洋人很早就掌握了现代枪炮技术，但在17世纪却选择不使用，因为他们在文化上认为“胜之不武”。

技术伦理亦是如此。例如，我们是否要用AI给学生打分、批改作文，或监测学生上课的抬头率？我们完全可以做出选择。因为一旦使用AI，就会形成一个新的技术系统和应用闭环。

因此，伦理治理包含两个重要方面：一是我们是否有不可退让的价值原点，即在某些事情上坚决不可退让。例如，我们是否坚持不泄露生物特征数据，或不用AI监测每个人的精神状态（未来的AI不仅能识别人脸，还能识别你是否抑郁、乐观等）。这是一种价值选择，也是政治选择，例如两国交战，即便用AI可能打赢，但我依然选择不用。

总而言之，如果AI水平仍未超过人类，那么坚持人类主导权和自主性没有问题。但现在正处于一个临界状态，未来充满未知。现实世界虽不像哲学家想得那般玄妙，会通过具体案例向前推进，但AI发展又太快，可能会出现我们始料未及的“巨变”或“骤变”。

从治理角度，应采取一些反向方法。例如，AI影响就业，我们就应在增强人的就业能力上投入巨大资源。同样，如果AI用于所有重要决策势不可挡，我们就需思考如何提升人类能力，使其能够控制那些比自己更高级的智能体。以往的控制是强者对弱者，未来能否实现弱者对强者的控制？这已不仅是技术问题和伦理问题，更是哲学与政治问题。

主持人：进一步来看，即使保留了人工审核，AI系统仍可能因数据结构、模型目标或平台商业逻辑等因素，形成隐蔽的不合理差别对待。风险未必来自系统失控，有时也可能源于系统长期、稳定地输出带有偏差的结果。

主持人：接下来，我们将正式进入第四个议题。议题四将围绕“商业应用中的算法歧视与弱势群体保护”展开探讨。算法歧视往往并非以直接排斥某类群体的方式出现，而是源于数据选择、标签体系、模型训练及平台商业逻辑等诸多环节。对用户而言，这种差别待遇通常不易察觉，也难以通过传统方式举证和救济。因此，第四个议题聚焦商业应用中的公平性问题。

一如既往，议题四的第一个问题请教来自阿里研究院的傅老师：在人工智能应用中，算法歧视通常是如何产生的？以及站在可信AI和技术治理的角度，企业应如何识别和控制这类风险？

傅宏宇：正如主持人所言，偏见或不公平本身可能源于数据采样、算法模型设置等环节。数据是一个采样工程，也是一种技术优化方向，而算法优化方式的不同可能导致不同结果。

从商业角度看，我们较多讨论的是“大数据杀熟”等问题，即用户怀疑平台利用其数据，分析购物意愿和价格承受力，对同一商品或服务设置不同价格。我认为，这更多是一个算法歧视问题，但其本质可能是一种由人工智能参与的定价机制所引发的信任危机。核心逻辑在于，平台获取数据后，既能做精准个性化推荐，也能分析用户支付意愿进行差异化定价。加之价格和优惠机制若过于复杂、理解成本高，用户便容易产生不信任感。

实践中，解决此问题的核心方案，除了对整个系统的公平性进行优化外，另一个关键点是保障用户对算法系统的知情权。应以清晰、易懂的方式，向用户展示价格和优惠的构成及计算逻辑。同时，在内部通过技术手段防止数据滥用，例如在定价和优惠发放上设置具体的管控卡点。这些都是通过现代技术优化和业务流程优化可以实现的。

此外，算法公平性是一个更广义的概念。从平台角度看，公平既要包含对消费者的公平，也要包含对商户端的公平。因此，我们讨论的公平性，更多是维护整个生态的总体公平。例如，对用户端较突出的问题是“信息茧房”，这是公平性议题的另一种呈现方式。信息流推荐使结果日益单一和同质化，侵蚀了用户的选择权，隐性收窄了其选择空间。解决方案包括：利用负反馈数据建模，搭建发现性推荐链路，打破“越买越推”的循环；在全链路进行无偏学习；并根据《个人信息保护法》等相关法律要求，提供个性化推荐的退出机制。

在商户端，公平性问题更多体现为“马太效应”：在算法加持下，头部商家的聚集效应愈发明显，中小商家在海量商品中难以被发现。具体解决方案包括：建立新品冷启动机制，保证机会均等而非结果均等；通过算法选品，预测新品成长潜力；并对偏远地区的中小商户进行精准赋能。

另一个重要的算法公平性议题，也是平台治理的关键，是反作弊。我们需要维护和保持公平交易环境，对虚假交易、刷单炒信等直接破坏公平竞争环境、损害用户权益的行为进行干预。我们已建立相应的风控模型和引擎，进行自动化监督和系统性风险挖掘，并通过对抗性训练提升模型鲁棒性。

综上所述，AI公平性是一个非常宽泛的议题。从我的视角看，针对用户、商户及整个环境的公平性保障，对于平台生态的AI公平至关重要，需要从更全面的角度进行协同治理。

主持人：议题四的第二个问题请教中国社科院的段伟文老师。《指引》特别提到，要面向未成年人、老人、残障人士等易受影响群体采取专门设计考量。请问段老师，您认为这种专门设计考量应如何落地？以及针对大型科技公司的数据伦理，我们是否也需要像探讨输入端的数据隐私一样，去审视其输出端的合法性与社会普惠价值？在这方面，您有何见解？

段伟文：所谓的设计考量，在《指引》6.2或6.3条中确有提及。但我们在解读《指引》时，还应特别重视第5.1条“伦理安全理念”。该理念阐述得比较清楚：要从安全影响的角度，妥善处理人工智能与人、社会和自然之间的相互关系，以造福人类、服务社会和可持续发展为导向。可持续发展本身就包含对每个人的关怀，不能落下任何人，关乎每个人的可持续生存与发展、自由而全面的发展，推动人工智能朝着有效、安全、公平的方向健康有序发展。

该条还有一句需要特别领会的话：“避免不合理的人工智能技术路线选择与盲目应用，保障人工智能始终服务于增进人类的共同福祉。”这里的关键词是“避免不合理”。而专门设计，正是考虑到对脆弱群体的特殊伦理或价值关怀，这一点非常重要。

在落地过程中，很重要的一点是，开发者、服务者到使用者等不同群体，都需认识到：像人工智能这样的颠覆性技术，在发展过程中，对有些人是有利的，对另一些人则可能不利，甚至有害。因此，这种伦理设计的关键在于加强社会公众的人工智能伦理素养，特别是对新兴技术的社会想象——即它能带来哪些好处，又可能产生哪些问题。只有当每个人对新技术都有社会、伦理和价值的想象时，才会产生将特定价值嵌入产品和服务的动力。

另一方面，不同主体需参与其中，但更重要的是，应将相关主体纳入设计过程。不能采取“家长主义”态度，即“我帮你设计是为了你好”。这里需要被设计者真正意义上的参与。

关于您提到的隐私等问题，人工智能发展过程中确实会涉及隐私等议题，这些问题也应通过伦理设计加以考量。我们知道，有些数据在输入时可能存在疑问或引发公众疑虑。那么，能否从输出端增强其合法性？从伦理设计角度看，关键在于“度”的把握。当前社会内卷的一个重要原因，就是在运用技术力量时未能把握好“度”。东方文化中的“仁”、“仁慈”等理念，也可融入其中。

简言之，对于用户，尤其是脆弱群体，其消费是否带来了更多福祉？例如，在金融或房地产领域的消费，是否使其资产更健康？现实中，许多消费和信贷可能是掠夺性的。因此，伦理设计既要包含主体参与，也要通过AI技术了解人性的缺点，并利用这些认知，矫正商业活动中可能使脆弱群体处于更不利地位的做法。这已超出一般商业能力范畴。如果我们不只是用“技术向善”、“科技向善”等溢美之词来展示企业形象，而是将功夫下得更深，将真正的价值观融入其中，才能促使人工智能时代的文明、商业文明和消费文化行稳致远，使其考虑到每个人，尤其是脆弱群体的长远健康（如消费健康、金融健康）。

以AI健身平台为例，若只追求盈利，鼓励用户每天跑20公里，这未必有益健康。因此，伦理治理分为两个方面：一是从后果或功效出发，进行社会总体利益的计算与权衡；二是我们是否有要坚持的价值观和价值取向。这正是第5.1条伦理安全理念的核心——在该理念指导下，许多问题在最初就能解决，例如“不好意思”去设计某些技术应用，用户和服务者也“不好意思”滥用技术。

《指引》之所以名为“伦理安全指引”而非“安全指引”，其深意在于：伦理不仅是连接安全与法律监管的中枢或桥梁，更应体现中国式现代化或中华民族现代文明的内涵。面对人工智能这一强大力量，我们能否有所为、有所不为？能否照顾脆弱群体？这除了利益的综合权衡，更在于“一念之差”——即坚定的伦理安全理念和价值观。

主持人：段老师提到的一个非常好的观点：可能当我们对伦理的整体控制达到一定程度后，就不需要在应用层面做过多的伦理治理。这给我们一个感受：在应用层面做的伦理治理其实更加精准、精细化。

主持人：那么第三个问题，我想请教实务经验非常丰富的张律师。例如，到了应用层面，大家常想到的是对用户的精准画像、个性化推荐定价、动态定价等，这些并不当然构成不合理的差别对待。类似“大数据杀熟”的情况，法律虽已给出回应，但年年仍有舆情或相关案件。我想请您从实务角度谈谈：在法律评价上，应如何区分那种界限模糊的差异化服务与算法歧视？一般来说，传统的规则，如数据采集是否合法、信息披露是否充分、用户是否有替代选择等，是否仍然有效？特别想听听您的实践感受。

张延来：差异化服务与算法歧视在实践中常有模糊性。经过摸索，我认为有一个重要的判断标准：当需要判断某行为是合理的差异化服务/定价，还是算法歧视时，首先要看服务提供者做出商业决策所依据的逻辑。这个逻辑或依据，是与所提供的服务和商品直接强相关的，还是无关的？

举例来说，如果差异化服务是基于用户的行为、偏好、消费能力等，且这些因素与具体服务有非常强的关联（例如，用户是否为过往会员、复购情况等），那么这种做法相对合理合法。

反之，如果商业决策的逻辑是基于用户的地域、身份、民族、性别等与服务无直接关联的因素，那么这就倾向于构成算法歧视。虽然还有其他判断标准，但从我的实践经验看，这是最重要的维度。

再举个例子，在网约车场景中，如果根据用车时段（高峰期与否）这一与服务强相关的因素来定价，或让用户自行加价，这些是相对合理的策略。但如果根据用户的手机型号（如折叠屏手机），推断其消费能力强，从而给出更高定价，这就涉及算法歧视。因此，核心还是要回归其决策逻辑。

当然，您提到的外部因素也很重要，如用户是否有充分、透明的信息可见，是否有充分的选择权。但我认为，应以前述决策逻辑作为大前提。只有大前提合理，再看信息披露和选择权；否则，即便充分披露了不合理规则，也不影响算法歧视的成立。

主持人：但我仍有疑问：您刚才提到的歧视，有些较好判断（如民族、年龄），但有些则较难界定。例如，有国外实证研究称，有的平台会根据用户手机电量多少进行差异化定价。或者，即使其他条件相同，仅因你是金卡用户、消费能力强，就给你更高定价。您认为这些是否应纳入算法歧视或应用伦理安全的范畴？

张延来：我个人倾向于认为这是一种歧视因素。因为手机型号或电量与服务本身并无太大关系。平台将你从正常价格群体中排除，让你额外付出成本。特别是电量，这意味着你知道我很着急，但你的服务并未因此投入额外成本。你只是利用了我在交易中的弱势地位来获取额外收益。除非平台能给出其他更合理的商业逻辑，否则我倾向于认为这是一种歧视。

主持人：那我想把这个问题也抛给段老师，作为伦理学专家，您怎么看？

段伟文：这个问题很复杂，许多因素纠缠在一起。一方面，我们使用商业智能或大数据AI进行商业决策或营销，本身就是利用替代性数据来推测消费能力，而非直接观察。严格来说，这样做或许都不应被允许，但目前所有商业都按此模式运行。

因此，重要的是找出其中恶性的事件。我认为有两个方面：一是意图，即是否存在恶意，导致不公正或对消费者的不当伤害；二是幅度，即价格波动是否在合理范围内。例如，过去买菜时，摊主也会看人定价——觉得你大方就价高，觉得你精打细算就价低。这中间存在一个合理范围。

另一方面要看结果。某些情况导致的“恶性事件”本身未必严重，如果因为“运气不好”被网络放大，也可能需承担一定的伦理或法律责任。总的来说，很难划定一个清晰边界，可能只能通过判例积累来推进，或由具体事件曝光引发社会舆论关注，从而推动相关规范的发展。

主持人：我们进入议题五。刚才大家讨论的多是相对理论的问题。《指引》出台后，业界的共同感受是，要打通从伦理原则到最终落地的“最后一公里”。我们特别想知道，《指引》文本相对原则性，应如何指导企业实践？在AI实际应用中，这些抽象的公平、平台责任、风险提示等要求如何落地？我们也特别想听听几位专家的意见：伦理安全要求在服务流程和运行管理中，会对企业行为产生何种影响？

我首先想问傅总，您来自企业，且参与了《指引》起草。在起草时，您是否想过这些条款在未来企业内部（开发者、服务者）将如何落地？是否预料到一些可能的困难？

傅宏宇：我的基本判断是，伦理落地可能涉及三个层面问题。

第一，要做伦理嵌入。“EthicalbyDesign”和“EthicsbyDesign”是非常重要的，即把伦理要求嵌入到整个人工智能技术和应用的设计之中，而非等系统运行后再进行外部审查和纠偏。这不是单纯的外加合规审查，而是将伦理作为系统设计的一部分。

我们在讨论时，也想到了业界较前沿的方案——“模型规约”（ModelConstitution）。Anthropic、OpenAI等公司都有自己的模型规约，阿里最近也发布了开源的模型规约，用以解释模型在安全、价值对齐、用户保护（特别是面向智能体的具体行为）等方面的伦理边界，以及在发现伦理冲突时如何建立伦理位阶以指导模型表达和行为。

模型规约方案，实质上是将伦理要求转化为模型自身的规范，让模型通过技术手段知道能做什么、不能做什么，以及在价值冲突时如何选择。这对通用模型尤为重要，但也非常困难，因为通用模型需在底层具备基本伦理能力，同时为上层应用留下场景适配空间。

第二，在落地过程中，我们考虑的另一个问题是伦理需进入不同场景。进入不同场景后，伦理问题会呈现场景差异性。《指引》对不同场景的伦理要求做出了核心表达，这一点非常重要——不同场景的伦理重点和落地方案不同，这对企业建立通用伦理方案提出了挑战。

鉴于AI技术快速发展、应用场景不断拓展，在跨场景时，更多的是经验积累和方案共享。不能仅停留在“公平公正”等原则性声明，而应做到具体实施方案的共享。例如，如何在推荐算法体系中嵌入公平性指标；如何为智能体设定行为边界；如何在医疗辅助、金融等涉及生命财产健康的高风险场景中设置人工专业干预节点。这也是《指引》中“敏捷共治”方针的落地体现——在实践中探索，在协同中共享经验。

第三，面向未来，这也是目前国内企业较欠缺的。我们在对标美国等AI企业时发现，其伦理建设正从单一伦理审查转向多学科、跨学科的公共知识积累。伦理不能仅靠技术团队，国内外一些公司已开始聘请社会科学专家参与模型训练和应用开发，而非仅提供边缘化建议。将人文社科视角嵌入模型的价值构造过程，以处理真实世界的伦理冲突，这非常重要。在AI计算过程中引入人文关怀和价值主张，将对AI发展产生更大帮助。

主持人：看来您认为这与《指引》中强调的“敏捷共治”非常一致——企业不仅是《指引》的践行者，也是贡献者。第二个问题想问段老师。刚才傅总提到，企业应参与伦理指引的贡献、撰写、实践落地并分享经验。您参与了国内外许多人工智能治理伦理规范的起草工作，既有伦理指引、伦理审查，又有科技伦理审查，技术标准和管理办法中也包含伦理条款。您认为在产学研用方面，应如何推动这些规则之间的衔接？它们之间是否存在重复或适用负担过重的问题？

段伟文：多年来，我们可以看到，人工智能伦理是大家都未曾涉足的领域，因此所有规范的制定，本质上都是字面上的工作，采用广义的德尔菲法，综合各领域专家意见，力求全面。

然而，美国、中国、欧洲这三个区域各有其优先关注事项、价值观及“知行观”（即知道是对的，但是否去做）。伦理条款的落地和各种规则之间的衔接关键在于理解推出这些条款和规则背后的原因，即把握各个治理实体对人工智能在伦理、安全、法律等方面的影响与问题的认知。只有抓住了治理实体对问题的认知，进而理解其中的价值观和诉求，才能找到使各种规则相互衔接的切入点和出发点。

由此，从企业角度，一方面需要超越伦理条款认识制定这些条款背后的原因，即通过对人工智能技术及其影响有哲学和伦理层面的认知，形成对人工智能技术实质的洞察和认知。例如，它如何改变认知和对知识可靠性的信任。

其实，《指引》中的“4人工智能应用伦理安全影响”在很大程度上体现了当前中国人工智能治理界对人工智能的基本认知，而这些论述在我国人工智能伦理相关规范中是一个突破。另一方面，要超越伦理条款从相关文件中仔细解读规则背后的价值观和优先关切，再通过将各种问题投射到核心价值观和优先关切上形成治理的边界，使各种规则由此形成的价值秩序中相互衔接。

《指引》伦理安全影响部分列出了五个要点，有些乍一看可能并非大家应该关注的焦点，但恰恰是需要关注的。这些要点有不同的层级和位阶。例如，第一条“人类主导权的影响”，实际上是在警示我们：当前AI正处于临界状态，人类的主导权和自主性可能正受到威胁或颠覆。《大西洋月刊》近期文章提到的“控制感消失”，即人类越来越感觉无法掌控世界，正是此意。

还有一些要点更具社会伦理意味，如排在第三的“个体认知与社会价值的影响”。但有个要点虽排在第二位，却是最为重要的优先事项——“公共秩序影响”。对企业而言，千变万化，切勿影响公共秩序。这是重中之重，一旦影响公共秩序，伦理、安全、法律、监管都会找上门。我国监管也一直在强化这方面，所有“长牙齿”的规定都源于此。

因此，企业需把握这一点。其他问题如“社会分化和歧视的影响”，也可投射到公共秩序上来理解。在欧盟，对这方面的问题的可以通过投射到他们更关注个体基本权利上得以更精准的把握，而我们则需将其投射到公共秩序上以分析其实质。当社会分化和歧视影响到公共秩序时，就必须重视，将其列入亟待解决伦理安全问题。

通过这样的排序，各种规则之间的衔接问题就变得清晰了。以往我们有ESG等框架，用于应对企业上市或科技金融需求。未来还会有国家安全问题，如模型数据为何不能随意跨境？这背后优先关切仍然是公共秩序问题。公共秩序的最高表现是国家利益。目前，人工智能的地缘政治博弈使世界可能因此走向两条道路，对我国来说，开放开源既具有伦理价值，也体现了创新策略和发展需求。

因此，在人工智能治理中，首先抓住维护公共秩序等重点方向，其他方面至少在形式上要满足或做到位。治理有轻重缓急，当前治理主体仍是国家。就缓解治理负担过重问题而言，企业可以主动在重点方向提前想定和前瞻布局。随着智能社会和智能文明建设，涉及生命健康、财产的问题可能成为影响公共秩序的社会矛盾焦点，应对此有所预见，加强伦理设计和制度安排。

此外，通过与大量企业打交道，我发现一个问题：企业内部对伦理安全问题的认知并不一致。通常只有负责安全、伦理、监管的人员更重视，其他人则不然。因此，如果企业能将这些知识在内部有效传播，将有助于各类规范及本次《伦理安全指引》的落地。

主持人：接下来想问张律师，企业内部对伦理问题的认知程度不一，有些企业重视且落实得好，有些则较差。我想请您从实务角度，谈谈“最后一公里”的问题：在您遇到的具体案件中，如果企业在立项、测试、运行过程中确实考虑了伦理要求，但发生了损害结果（如幻觉、答复错误或安全事故）；或者企业并未考虑这些要求，也发生了类似结果。这两种情况在实际担责时是否有区分？您认为这种区分是否应当存在？

张延来：我可以用两个案件对比来回答。第一个是前面讨论过的“AI幻觉第一案”。在该案中，法官注意到大模型提供方在输出答案时给出了一些提示，告知用户“此答案仅供参考”。这一动作成为其最终免责的一个重要原因。

与之相对的是我们代理的“奥特曼平台”案和“AI种草”案。在这些案件中，平台在用户生成内容向外发布时，未给出明确的AI标记，可能导致误解；或在用户数据训练及LoRA模型生成时，虽在协议中承诺进行版权审查，但实际上并未执行。这些都成为其最终承担责任的重要原因。

由此可见，合规动作（无论是伦理合规还是其他合规）一旦做了，必然会影响责任承担方式，区别在于是影响责任的“定性”（是否担责、担何种责）还是“定量”（责任大小）。

其次，不同类型的服务提供者，其合规动作对责任的影响也不同。例如，一般网络服务（包括生成式AI服务）与结合AI的产品服务（如自动驾驶）。对于前者，合规动作主要影响责任定性；而对于后者（如适用严格责任或无过错责任的产品责任），即便做了合规动作，发生事故后仍需承担责任，但合规动作会在一定程度上影响责任的定量判断（即责任力度可能减轻）。如果完全没做，则责任必然很重。

总之，无论何种情况，只要做了且切实落地了合规动作（包括伦理合规），就一定会对责任认定产生影响。

主持人：张老师的回答也呼应了段老师之前的观点：在法律责任判断中，对主观状态的判断——即是否做了伦理安全相关工作——有很大影响。

今天我们讨论的《人工智能应用伦理安全指引》，从规范定位出发，依次探讨了主体责任配置、高风险场景中的人类主导权、算法歧视与弱势群体保护、事故追溯与应急处置，以及从指引文本到企业实践的落地路径等问题。讨论既有高屋建瓴的哲学思考，也有商业应用中的具体规则，还包括对未来落地路径的展望。

三位嘉宾的智慧分享，让我们深刻认识到：随着AI应用不断深入社会运行的各个场景，企业面临的治理要求正从习惯的结果判断和影响判断，逐步前移到过程治理和事前治理。无论未来伦理指引如何细化，人工智能应用是否安全、可信，伦理和法律规范都将成为同等重要的依据。

我们常说，科技是人类的一面镜子。今天为AI注入何种价值观，就是在为明天选择何种社会路径。三位嘉宾在不同环节反复强调：与其在应用阶段从结果角度判断伦理，不如在设计和部署阶段就将伦理嵌入AI应用之中。相信这份《伦理指引》，也为人工智能这趟列车铺设了一条非常稳固的铁轨。

📌往期推荐