图片

阿里巴巴联合上海人工智能实验室发布《守己利他:智能时代做负责任的技术》白皮书已于近日发布。点击查看发布详情👉阿里巴巴联合上海人工智能实验室发布AI安全白皮书

图片

接下来为全文连载:
第一章《引言》、第二章《人工智能发展和安全的总体趋势
第三章《守己:坚持长期主义保障模型及应用安全。公共云提供了AI应用安全的可靠保障方案》
第四章《利他:用开源建生态、用开放促普惠,负责任地评估应对AI发展中的影响》

以下为第五章《合作:聚力政产学研,共建安全、向善、可持续的AI发展范式》、第六章《第六章:AI治理前沿探索👇

 

01

聚智多方协同,定义问题,解决问题

在技术飞速演进的浪潮中,人工智能正以前所未有的速度重塑各行各业。技术的进步不应是孤立的跃进,而应是多方协同、知识共享、问题共解的系统工程。AI时代的“合作”不再是一种可选项,而是构建安全、可信、可持续技术生态的必然选择。

“合作”并非简单的资源交换或单向的给予,而是一种共生共创的生态构建过程其核心在于将企业自身的技术能力和实践经验融入更广阔的社会治理体系,与政府、产业、学界形成一个开放、敏捷、持续迭代的治理网络。将跨学科知识贯穿技术研发与应用的全周期,持续沟通、快速迭代,最终构建敏捷治理与开放共建的创新生态,使安全可信的AI真正触手可及。

为此,阿里巴巴充分吸纳各界智慧、协同多方力量,提前布局产学研合作,通过科研攻坚、开放治理、安全生态建设和知识共享等多样化方式,主动共享实践和经验、共同攻克技术难题、协同共塑治理框架,将我们在人工智能安全方面的经验和能力开放成为公共知识,推动行业自律、增进社会信任。这每一步扎实的“跬步”,推动着负责任的AI安全能力从“跟跑”向“领跑”跃升。



聚智攻坚,方解前沿之困产学研多方的合作能够充分发挥大学的学术优势和阿里巴巴的产业优势,真正打通“产业、科研、教育”的闭环,推动人工智能安全领域的技术突破和人才培养。 以阿里巴巴的实践为例,2022年以来,阿里巴巴与全国超过80所高校开展了产学研合作,合作项目近300个,近500篇相关论文被国际顶级会议、顶级期刊收录,涵盖大模型、机器学习、自然语言处理、AI安全等领域,其中AI安全领域成果占比约1/3。


阿里巴巴积极整合科技创新力量和产学界优势资源,与清华大学启动智能体与多模态安全产学研深度融合专项合作,与浙江大学成立人工智能安全联合实验室,与复旦大学成立应用程序安全校企联合研究中心,并与全球30余所重点高校建立长期深入的合作关系。近三年,通过专项技术和创新课题等方式,阿里巴巴已经与全球高校开展80多个科研课题,围绕人工智能安全、网络安全等领域的关键问题开展研究,围绕“负责任科技”理念开展前瞻性研发,并通过开源开放生态惠及全行业。



聚智开放,共书治理新篇。从来没有一种技术像AI这样,具有可以匹敌人类的智能,然而这也代表了一旦AI被滥用,其破坏性也同样值得警惕。AI治理这条路才刚刚开始,阿里巴巴持续给出自己的答卷,连续三年发布人工智能治理系列丛书,为行业提供前瞻指引。


2022年,阿里巴巴联合中国信息通信研究院编写并发布《人工智能治理与可持续发展实践白皮书》,全面总结了在人工智能治理与可持续发展领域的实践,重点针对人工智能应用中的热点问题系统性介绍了实践思路和方法;2023年联合中国电子技术标准化研究院编写并发布《生成式人工智能治理与实践白皮书》,从生成式AI发展的态势和担忧出发,探讨了生成式AI产生的风险及其原因,提出了敏捷治理、协同共治的治理理念;2024年联合中国电子技术标准化研究院编写《大模型技术发展及治理实践报告》,从大模型技术发展与产业应用现状出发,分享阿里巴巴的治理框架和实践。



聚智谋远,共享技术前沿。AI技术要实现可持续发展和有效治理,需要社会各界,尤其是政策决策者对AI有全面且深入的认知。通过共享权威且易懂的知识,可以有效弥合政策制定者和产业界之间的信息鸿沟,确保各方在共同的认知基础上进行对话和决策。例如,为帮助政府领导干部全面系统了解人工智能大模型技术原理、发展现状与未来趋势,阿里巴巴、上海人工智能实验室组织多位资深专家撰写《十问人工智能大模型》。该书作为干部教育辅助读物,由中央党校出版社出版,面向各级领导干部及相关人员在全国范围内公开发行,以通俗易懂的语言,为政策制定者理解人工智能技术、把握产业政策方向提供来自实践的前沿知识。


聚智筑安,共绘安全图景作为国内人工智能领域的技术引领者,阿里巴巴积极投身于网络安全生态建设与行业治理能力的协同发展。在主管单位的统筹推动下,阿里巴巴将自身在大模型安全能力建设方面的实践经验向行业系统性输出。在通义大模型的研发与落地过程中,阿里巴巴构建了覆盖制度规范、组织架构、运行机制及技术工具链的全方位安全治理体系。通过建立健全的安全管理制度,明确各环节责任分工;设立专业安全团队,形成高效协同的组织保障体系;构建贯穿模型全生命周期的安全管理机制,确保风险可控、响应及时;同时,依托包括安全评测、安全SFT、安全DPO等关键技术工具,实现模型与主流价值观的对齐与潜在风险的有效抑制。


上述经验不仅为通义大模型的安全稳定运行提供了坚实支撑,也为行业在面对通用人工智能快速发展背景下的安全挑战提供了可借鉴、可复制的实践路径。未来,阿里巴巴将持续加强与行业的合作,共同推动人工智能安全治理体系建设,打造开放、协同的人工智能安全新生态。


02

聚知多方共享,理解安全,信任技术

人工智能日益渗透到社会生活的方方面面,当一项技术与公众的日常紧密交织时,公众对技术和安全的认知与感受,决定了这项技术的社会接受度和生命力。打破认知鸿沟和信息壁垒,建立一种双向、开放的沟通与协作机制至关重要。阿里巴巴积极投入与公众的信任共建,将复杂的技术原理以更清晰、易懂的方式传递给公众,倾听和回应公众的关切与期待,促使公众从被动的技术接受者,转变为技术发展与治理的积极参与者,协同构建起社会对技术的广泛信任,为AI的可持续发展奠定社会基础。


聚知共享,增进公众理解与信任。构建负责任的AI体系,不仅需要精密的算法与严谨的治理结构,更需要公众参与、社会认知与共识构建。科技企业应当主动把复杂技术“翻译”成通俗语言,让公众成为AI发展的“理解者”、“监督者”、“共建者”。2021年9月至今,阿里巴巴联合多所高校发起人工智能治理交互栏目《追AI的人》,聚焦前沿议题、热点争议与伦理难题,已完成60场线上直播,累计超百万人次观看学习,为公众打开通往AI世界的一扇窗。在清华大学、北京大学、复旦大学等高校,学生自发组织集体观看,人工智能不再遥远抽象,而成为可感知、可理解、可对话的公共事务。内容持续以文章回放和科普短视频的形式输出,用清晰的语言阐释各界对AI的疑问,致力于“把AI讲清楚”。这不仅降低了理解门槛、增加了公众信任、也拓展了社会共识,用知识透明支撑治理透明,为技术发展创造可持续的社会土壤。推动了多方讨论与协同共治,让AI发展更具温度。



科技企业作为产业治理的核心角色,应主动将内外部、多方面、跨学科的知识融入敏捷组织与敏捷开发所支撑的治理体系中,在技术研发路径、 选型适配和市场应用等节点上,适时、适当地引入政府、学界、公众等第三方的观点和建议,将其融入技术发展目标设定之中, 并持续沟通、快速迭代、敏捷试错,不断优化技术发展路线。


2023年起,阿里巴巴集团连续三年主办《这个AI不太冷》系列研讨会,以“相信科技的力量,创造美好的未来”为目标,邀请中国电子技术标准化研究院、北京信息科技发展中心、中国政法大学、北京大学、浙江大学等多所机构与高校的跨学科专家参加会议,围绕当年的热点争议话题和前沿技术,共同探讨人工智能技术的能力与风险,以及应对实践和未来规划,让大模型以安全可靠、可信赖和可用为目标,快速有序地健康发展。



聚知共识,促进跨界交流与互通。人工智能技术与应用涉及多学科并对不同领域产生影响,通过跨界进行知识共享与观点交互,有助于弥合差距、促进共识,并增强各方对于技术和安全更全面的理解。阿里巴巴通过“学习型组织”培训设计,组织面向新技术与新业务的内部AI培训,引入政府机构、AI创始企业代表、高校学者、智库专家等外部视角,与内部专家共同探讨AI技术的发展趋势和应用前景,为企业注入跨领域的洞见与思考,确保每位员工都能紧跟技术发展的步伐,目前年均开展内部培训20场以上。同时也通过系统提炼、对外积极分享企业的技术团队经验和变革范式,帮助决策者和同行了解技术趋势、可参考的实践框架,年均举办外部培训100余场。这种双向交互的交流机制,促进跨界跨域的知识共享和流动,为包容的技术发展生态提供了有力支撑。

打造开放、协同的人工智能安全新生态。


03

聚力产学联训,育才守正,铸才利远

AI数字技术体系全栈发展和应用生态快速拓展,对AI人才培养提出了更体系化、更紧迫的要求,行业需要从AI技术的特点出发,培养更多具备逻辑思维能力,能够在复杂任务中更好地利用、控制和管理AI的综合性人才,以及理解技术、具有实践经验的安全治理人才。对此,更需要协同多方力量优化培养机制,提前布局AI人才培养储备。阿里巴巴积极投身其中,以AI发展需求为导向,将产业前沿的实战经验与安全规范同教育机构的知识体系与育人使命深度融合,携手各界为AI的稳健发展共同筑牢人才基石。


企业实践经验进入课堂。技术越是复杂,越不能依赖“个人英雄”,而需要系统性人才供给能力,构建起具有治理视角、安全能力、伦理自觉的高质量人才生态。阿里巴巴积极响应国家推动AI与教育深度融合的号召,携手产学研伙伴共同探索适应AI发展的人才培养新路径,我们相信真正的技术革命始于顶尖人才的聚集,成于开放生态的共建。为此,阿里巴巴联合30余所高校开展“阿里安全课堂”,开设面向本科生和研究生的《人工智能安全与伦理》等课程,将企业实战经验、最新案例引入课堂,推动复合型工科人才的培养。在课程内容上强调“底线意识”“安全设计”“伦理判断”,使技术教育不止于能力训练,更深层次地植入责任意识



AI技术直接赋能教育。阿里巴巴与上海财经大学合作,基于通义千问大模型推出智能化教学工具,通过技术赋能人才培养。一是多学科融合教育大模型,用近2000本精品教材对模型进行二次预训练,使该模型实现了多学科交叉的知识联通,可以高效支持知识问答、概念查询、材料挖掘、现象分析、写作辅助及知识综述等跨学科学习任务,助力学生高效掌握知识。二是职业规划大模型,通过用近万份招聘信息及职业资格考试教材对模型进行二次预训练,并对接多学科专属知识库,使该模型帮助学生探索可操作的职业学习路径,对专业知识进行解读,帮助学生构建完整的知识体系,为其职业规划提供全面支持。目前这两款模型在试用测试中表现优异,下一步将逐步开放给学生使用。


赛事举办培育实战人才。2024年起,阿里巴巴发起“大模型安全撬壳计划”系列赛事,组建我国大模型企业首支算法安全蓝军。通过打造6场不同赛道的沉浸式AI博弈战场(包括文本、多模态、智能体、算力消耗等),以实战演练为核心,依托真实漏洞与工程化防护构建闭环对抗机制,并提供场景、技术 、数据、奖金等支持和激励,召集跨学科选手站在攻击者视角,挑战阿里巴巴真实业务场景下的防御边界。 全国5000余名AI安全爱好者加入“撬壳圈社区”,不仅覆盖浙大、复旦、清华等高校,也汇聚了来自各行各业的技术爱好者。他们带着不同的“战术兵书”,从社交工程到心理诱导,从情景构造到创意攻击,打出了一套又一套出其不意的招式,最终以7万余次攻防提交,完成六场真正的全领域、跨阵营、全火力的实战演练。攻击之矛愈发犀利,防御之盾更为坚固,“大模型安全撬壳计划”不仅是一场技术的较量,更是一次对智能安全边界的重新定义。尤为可贵的是,众多跨界选手的涌入正如一股清流,激活固有的思维边界:AI安全再无“局外人”,创新沃土之上,无人是孤岛。



04

聚策技管融合,协同行业,共塑标准

制定行业标准是指导行业有序发展的弹性治理手段之一,其核心在于采纳产业侧的成熟经验与共识方案,而非单方面地强制制定。对此,需要与产业界多方协同共同探讨行业发展的现状、痛点,共享最佳实践,将来自不同场景的集体智慧凝聚为行业共识,转化为指导行业健康有序发展的实践标准,并在共识基础上促使市场参与者开展负责任的治理。阿里巴巴秉持这一行业协作理念,积极输出能力和经验,推动共识形成与标准落地,积极参与技管融合、开放共赢的AI标准体系。


参与国家AI安全标准建设,夯实合规基础阿里巴巴集团和上海人工智能实验室高度重视人工智能技术的安全性与合规性,积极参与GB 45438—2025 《人工智能生成合成内容标识方法》、GB/T 45654—2025 《生成式人工智能服务安全基本要求》等人工智能安全相关国家标准的研制与实施,确保技术研发与应用始终符合国家法律法规和监管要求。


牵头国际标准制定,贡献中国智慧在全球化背景下,人工智能治理需要跨国家、跨文化的协同与共识,国际标准则是顺畅对接的桥梁,也是聚合全球专家共治的助推器。阿里巴巴牵头研制了ISO/IEC TS 25568《生成式人工智能风险应对指南》,系统梳理生成式AI的风险来源,明确技术支持者、服务提供者与使用者的责任边界,旨在为中企出海及共建全球开源开放生态提供AI治理参考。此外,阿里巴巴还聚焦AI算力资源紧缺的全球共性问题,牵头制定了ISO/IEC 42112《机器学习模型训练性能优化指南》,提出降本增效的AI技术路径与优化方法,促进人工智能的可持续发展。


推动AI安全治理标准,共建可信生态。在满足国家合规要求的基础上,阿里巴巴和上海人工智能实验室主动承担协同共治责任,输出在模型安全、内容治理、风险防控等方面的实践经验,阿里巴巴牵头编制了TC260 GB/T 45909-2025《网络安全技术 数字水印技术实现指南》、实践指南《网络安全标准实践指南——人工智能生成合成内容检测 第1 部分:框架》等;上海人工智能实验室牵头编制了《网络安全标准实践指南——人工智能训练数据清洗安全指南》《网络安全标准实践指南——人工智能模型安全测评方法及选型指南》《网络安全标准实践指南-人工智能系统安全开发指南》。这些标准和指南不仅体现了阿里巴巴和上海人工智能实验室在AI安全领域的技术积累,也为行业客户提供了可操作、可验证的安全治理框架,帮助提升行业整体安全水位,助力构建安全、透明、负责任的技术生态。



01

以技术创新驱动安全与性能协同提升

安全与性能协同,正在从前瞻理念加速迈向现实应用。


沿着安全与性能协同演化的技术理念,上海人工智能实验室持续探索基于因果推理、形式化验证、自主免疫等技术理念的安全基础理论与架构,构建“泛对齐、可干预、能反思”的人工智能核心技术体系。代表性实践包括:


领衔提出大模型因果推理框架,让AI具备因果推理能力,从而提升多模态模型、具身模型及多智能体的自主安全能力。


探索形式化验证技术,驱动推理模型在形式化验证任务中自我改进,实现对复杂软件的自动形式化验证,构建数学可证明的人工智能安全保障系统。


布局自主免疫技术路线,探索将生物免疫系统逻辑引入模型原生能力,通过快–慢协同持续学习引擎与演化博弈架构,培育AI应对未知威胁和风险的能力。


打造大模型通用安全平台SafeWork,覆盖人工智能系统训练-模型-评测-应用-验证全流程,在全生命周期中嵌入安全机制,让模型从源头具备内生安全与自觉防护能力;SafeWork平台支持主流开源模型一键加固,通过覆盖数据、推理与交互全流程安全增强技术,助力国模安全与性能协同提升。



AI安全的根基在于安全技术能力的持续生成与发展。在2025年7月的世界人工智能大会上,上海人工智能实验室提出“Make AI Safe”与“Make Safe AI”构成互补双轨的理念,提出覆盖近-中-远端风险的技术路线。“Make AI Safe”遵循后验治理策略,依靠攻防演练发现漏洞、事后加固,适合近端、易观测的风险处置。然而,随着模型能力跃升、系统复杂度增加,后验治理策略的边界成本将显著攀升,要求新的安全理念与策略。与“Make AI Safe”相比, “Make Safe AI”指向自适应、自演化的安全理念。这一理念以 R²AI 架构为底座,通过“Resilience + Resistance(韧性 + 抗性)”双机制,把安全要求前移至设计、训练、部署与运行全周期,使模型具备自主识别异常、自我校正行为、自主强化安全策略的原生能力,从而有效缓解并应对隐蔽性强、传导链条长的风险。


科学评估和应对前沿AI风险


上海人工智能实验室从科学视角构建风险模型, 提出《前沿AI风险管理框架》,从解耦应用域(E)、威胁源(T)和关键能力(C)等维度对前沿风险进行建模,识别AGI可能带来的关键风险类型。这一框架提出“黄线-红线”双阈值体系,科学定义风险特征与阈值,支持风险定性评估和定量测量,并针对性映射预防、检测与缓解措施,为前沿人工智能风险治理提供可操作化指南及实践方案。


02

以治理创新推动多方能力共建

在国家高度重视人工智能安全治理与监管的背景下,上海较早地探索为企业和行业安全赋能的治理模式创新。在上海市委网信办等多部门指导下,上海人工智能实验室与阿里巴巴、上海交通大学、清华大学等企业和院校深度合作,共同开发安全评测公共服务,推动人工智能安全知识、资源和能力业界共享,帮助大模型创新企业提高模型安全表现。


推动AI安全能力共建。在上海市委网信办等部门指导下,上海人工智能实验室积极支撑大模型合规指导服务中心作用,在“大模型发展和安全”等活动平台汇聚链接专业资源,组织技术专家、顶尖学者分享人工智能安全知识与技术实践;指导在上海创新、创业的各类生成式人工智能服务主体开展模型系统安全评估,助力企业人工智能安全能力建设,帮助企业提升服务和产品竞争力,推动智能向善。


面向不同应用场景测试大模型的内容合规性与响应稳定性,上海人工智能实验室开展多模态语料建设,聚焦多模态语料资源的系统化构建,自主研发并开源了一系列高质量的多模态安全数据集,覆盖文本、图像、音频、视频等多种模态,助力安全性评估体系的建立。截至2025年11月,上海人工智能实验室已为超过200余家企业开展针对性的安全能力服务,推进业界AI安全理念、知识和技术经验的交流分享。


多策并举,推进AIGC标识示范与能力共建。随着《人工智能生成合成内容标识办法》及相应国家标准正式实施,上海人工智能实验室围绕模型输出内容的水印嵌入与识别、套壳生成检测、深度伪造识别等技术展开研究,深入探索AI标识理论研究与前沿技术方向,在高水平期刊发表专题技术论文,致力于提升模型输出的可追踪性、生成行为的可控性以及责任的可归属性。同时,在标准实施前,上海人工智能实验室组织专项内部宣贯,明确AI标识要求,系统部署技术路径,支撑AIGC标识生态联盟工作,为人工智能标识工作高标准落地提供示范案例。


03

“AI安全全球公共产品”全球倡议

人工智能应该是造福全人类的国际公共产品。伴随全球人工智能发展迎来新一轮热潮,并以前所未有的深度重塑全球经济与社会格局,人工智能安全成为当下和未来的重要议题。人工智能为人类造福,意味着人工智能安全理应成为全球公共产品。这是智能时代做负责任技术的应有之义与光明愿景。


在2024世界人工智能大会上,上海人工智能实验室联合阿里巴巴、上海交通大学国际与公共事务学院、清华大学、中央广播电视总台等联合发布《人工智能安全作为全球公共产品研究报告》,在上海人工智能治理经验的基础上,提出以公共产品理念和方法应对人工智能安全问题,以促进全球范围内人工智能安全能力发展,实现各国人工智能安全水位的协同提升。公共产品是具有非排他性和非竞争性特征的产品或服务,即个体对公共产品的消费不会影响他人的消费,且难以将特定个体排除在消费之外。将安全视为公共产品旨在统筹发展与安全的双重目标,突破将安全视为风险管理措施或监管手段的传统理解,强调安全知识、能力、资源的积累与增长,以促进人工智能更好发展。


这一理念呼吁全球企业、科研机构和监管机构共同努力,推动安全共性技术、标准规范、重大平台等共建共治,丰富全球人工智能安全工具箱、资源库,促进人工智能安全的非竞争性和非排他性,使得在人工智能能力进步的同时惠及全人类。同时,报告提出了四个关键原则:公共原则、科学原则、责任原则和敏捷原则,为全球人工智能安全治理机制合作提供原则性指引。


“人工智能安全作为全球公共产品”的理念正在受到全球关注与讨论。在2024年9月威尼斯举办的国际AI安全对话(International Dialogues on AI Safety)上,约书亚·本吉奥(Yoshua Bengio)、姚期智、杰弗里·辛顿(Geoffrey Hinton)、张亚勤、图尔特·罗素(Stuart Russell)等前沿人工智能科学家关注到“AI安全作为全球公共产品”的重要性,并将这一理念写入共识声明。2025年4月,牛津大学中国政策实验室(Oxford China Policy Lab)也吸收了这一理念,联合剑桥大学等多家机构发表政策研究报告《将人工智能安全视为全球公共产品:影响、挑战与研究优先项》(Examining AI Safety as a Global Public Good: Implications, Challenges, and Research Priorities),提出虽然算力、资金与人才等资源通常具有排他性和竞争性,将全球公共产品视角在协调治理责任分配、促进公平发展、缓解安全与能力矛盾等方面的价值。


未来,人工智能安全的技术路线和机制还将持续演化,人工智能安全公共产品的形态和供给方式也将持续发展。人工智能时代的负责任技术路线演进需要企业、公共科研机构、高校、监管机构等形成多方合力,促进负责任的技术能力由点及面扩散,进而生成国家以至全球性安全能力与治理绩效。我们呼吁和欢迎各方加入到这一进程中,谱写智能时代负责任技术发展新篇章。



📌往期推荐

图片

AAIG课代表,获取最新动态就找她👇

图片

关注公众号发现更多干货❤️

图片
图片
图片

内容中包含的图片若涉及版权问题,请及时与我们联系删除