智源学者说| AI自进化—从“被训练”到“自我迭代”的深度思辨

过去谈论AI，人们更关心的是模型“能做什么”：参数是否更大、任务覆盖是否更广、能力是否更强。如今，随着AI开始调用工具、执行复杂任务、根据反馈修正行为、生成训练数据，甚至参与模型和智能体系统研发，问题正在发生变化：当机器开始自主判断与行动，人类将如何与之相处？当算法越来越深地参与决策，安全边界又该如何守住？这些追问最终指向一个更深层的问题——AI是否正从“被人类训练的模型”，走向能够持续自我迭代的系统？

7月15日晚，由智源研究院、智源学者出品的新一期《智源学者说》聚焦“AI自进化”。智源青年学者、清华大学长聘副教授眭亚楠，智源青年学者、上海交通大学设计学院副教授龚江涛，智源青年学者、北京航空航天大学人工智能学院副研究员周仕佶，北京航空航天大学计算机学院副教授杨健，以及智源研究院可信AI安全中心负责人李朝卓，分别从具身智能、认知增强智能体、智能体决策优化、AI Coding和可信AI安全等研究视角出发，围绕概念定义、技术路线、评测机制、现实瓶颈、安全风险及未来十年趋势展开讨论。对话由智东西联合创始人兼CEO龚伦常主持。

整场对话清晰锚定了AI自进化所处的技术阶段与现实边界。这场讨论给出的，并不是关于AI无限自我升级的想象，而是一张更具现实感的技术坐标图：AI自进化已经在部分任务中走出概念阶段，局部闭环正在Coding等反馈明确、结果可验证的数字场景中出现；但稳定、可迁移的通用能力尚未形成，下一步仍受奖励机制、数据与环境、长程能力和安全治理等现实约束。未来，越来越多训练、执行和评测的中间环节可以交给AI，但最高层目标、最高层评价准则和最终监管权，仍必须掌握在人类手中。

一、何谓自进化？变化发生在数据、任务、环境与评测方式

对话开篇，五位嘉宾分别从数据来源、任务生成、环境构建、方法迭代和评测机制等角度界定AI自进化。讨论也呈现出两种尺度：一种追求面向开放环境的通用自进化，另一种则关注自进化能否先在特定任务中有效发生。自进化并不排斥预训练、微调和强化学习等既有方法，真正发生变化的，是这些方法如何被纳入持续交互、反馈和迭代的循环。

从依赖人工数据，到自主获取和组织知识

AI自进化与传统训练最直接的区别，首先出现在数据来源上。

智源研究院可信AI安全中心负责人李朝卓认为，传统AI训练通常依赖人工数据，以及自然界或互联网中已有的大量文本，再通过人工标注开展后训练，或进行基于人类反馈的强化学习，使AI的关键技能与人类需求对齐。

自进化系统所需要的数据，则不再主要依赖人类提供和标注，而是由AI从外部环境中自主提取、组织和挖掘知识，形成对自身能力的持续补充。

目前，自进化系统主要仍与现实世界中的既有数字环境交互。例如，搜索智能体与Web交互，通用智能体与操作系统或具体任务环境交互。再往后，系统所交互的环境也可能由AI自己模拟和仿真AI由此能够在自己构建的虚拟场景中持续试错和进化。

但数据自主只是起点。

从人工设定任务，到自主构建任务和环境

智源青年学者、北京航空航天大学人工智能学院副研究员周仕佶提出，在数据之上，任务和环境是更高一层的自进化维度。

当前能够实现的自进化，仍主要发生在人工设定的规则或环境中。例如，Coding Agent所处的是一个目标相对明确、结果可以验证的数字环境。通过现有模型能力和框架设计，系统已经能够在这类环境中实现一定程度的自主优化。

更通用的自进化则要求AI不只是解决人类给出的任务，还能够自主构建任务，与任务环境持续交互，并将整个循环用于提升更底层、更通用的能力。

但这也带来一个尚未解决的根本问题。

“人类的长期目标与生存性相对清楚，而机器的‘长期目标’究竟是什么，仍需要继续讨论。”周仕佶说。

如果任务、环境和反馈最终仍由人类逐一设计，系统就可能始终被限制在一个人工规定的闭环中。它可以在特定问题上不断搜索更优解，却未必能形成真正面向开放世界的通用自进化能力。

从执行确定流程，到持续演化方法本身

智源青年学者、清华大学长聘副教授眭亚楠从算法和方法特性出发，对自进化作了进一步界定。

在他看来，自进化的底层方法不应是一套针对特定任务完全写死的确定性流程，而应能够不断迭代、演化和提升，并且没有一个明确的时间终点。

传统端到端学习中，任务的起点和终点通常已经定义清楚；但对自进化而言，终点可能尚未被定义，或者需要以更加开放、灵活的方式定义。

这意味着，自进化并不只是在既定路线中提高效率，而是要允许系统在持续交互中调整方法、策略乃至部分规则。

智源青年学者、上海交通大学设计学院副教授龚江涛则将自进化放在AI部署后的动态环境中理解。环境不断变化，AI要泛化到复杂环境中，就必须像人一样适应环境、持续学习，并逐渐形成自己的学习机制。

在龚江涛看来，判断一个系统是否具备自进化能力，至少要看三个标志：

第一，系统是否真的学到了东西，能力提升是否可衡量、可感知；第二，系统是否具有一定开放性，能够在很大程度上自主学习，甚至修改部分进化规则；第三，整个过程是否可控，不能走向“误进化”。

“自进化不是随意进化。”

代码成为模型自我迭代的直接接口

在AI Coding领域，这套机制有一个非常具体的接口——代码。

北京航空航天大学计算机学院副教授杨健认为，过去训练代码模型，需要人类编写训练代码、构建评测流程；如果要实现模型自迭代，就可以让模型自己编写训练代码和评测代码。

训练与评测的具体实现、Agent框架和软件运行环境，最终都可以归结为代码。模型可以迭代训练代码、评测代码，也可以调整由代码构成的Agent框架。

因此，一系列自迭代问题最终都指向同一个问题：如何让模型自动写好用于改进自身的代码，并通过多轮训练、执行和评测获得更好的结果。

围绕“怎样才算自进化”，讨论中实际上形成了两种尺度。

一种追求更高标准的通用自进化：AI能够自主寻找和生成环境，并让整个循环服务于更通用的世界认知；另一种则从现阶段出发，先判断自进化能否在代码、数学等特定问题上有效发生。

眭亚楠认为，即使环境由人设计，只要方法能够在其中取得显著提升，结果符合预期，就可以视为有效的局部自进化。在此基础上，再逐步提高自进化层级，扩展任务和环境的复杂程度。

龚江涛也认为，是否引入人类先验并不是判断自进化的决定性标准。智能的解空间近乎无限，如果完全放任智能体在无约束空间中探索，不仅效率很低，也会消耗大量资源。判断自进化最重要的，仍然是系统是否在可靠指标或人类能够感知的维度上发生了有效改进。

二、现实起点：Coding为何成为自进化的第一试验场

自进化并非突然出现的新概念，但过去两年，这一方向明显升温。

眭亚楠介绍，Agent是ICLR 2025 Workshops的第一大关键词。从2025年到2026年，ICLR均有聚焦Self-improving的Workshop：2025年，Agent和Self-improving更多是各自讨论；到2026年，两者出现了更多结合，既包括Self-improving在代码等具体任务中的应用，也包括更加开放、长期持续的迭代优化。

但从概念走向可运行的闭环，最先跑起来的不是开放的物理世界，而是Coding。

反馈明确、环境可控、结果可以验证

Coding之所以成为自进化的第一试验场，核心原因在于它天然具备可验证性。

一段代码是否正确，可以通过单元测试等方式验证；软件环境可以由Dockerfile和代码执行环境构成，完全虚拟化，也更容易规模化扩展。从数据清洗、预训练、后训练，到智能体强化学习和代码评测，整条链路相对清晰。在这种封闭且可验证的环境中，模型可以反复执行任务、获得反馈、调整策略，并重新进入下一轮训练或测试。

杨健认为，先在纯软件环境中实现自迭代，再把方法论扩展到更现实的场景，是一条自然路径。

他将Coding场景中的递归式自我改进（RSI）拆为三个要素：

第一是智能体训练。即收集人类执行中长程任务的轨迹数据，并将这些数据加入模型训练。

第二是Agent本身。研究者不仅可以优化Agent的Harness或脚手架，也可以让脚手架反过来优化自身代码，形成Harness层面的自迭代。

第三是完整的训练基础设施与训练链路。轨迹数据、Agent与训练基础设施，共同构成实现Coding自迭代的重要条件，并推动相关能力快速发展。

Harness：连接静态模型与动态环境

在这一工程体系中，Harness是连接静态模型与动态环境的关键一层。

李朝卓将基础模型之外、负责环境交互和系统运行的组件都视为Harness。在具身智能中，机械臂也可以被看作Harness的一部分。

当前大模型参数通常是静态的，但外部任务和环境持续变化。Harness的作用，就是在静态的基础模型与动态环境之间建立桥梁，将外部变化信号传递给模型，辅助模型作出判断和行动。

从实践方式看，目前Harness大致有两类。

一类通过外挂Memory或Skills，将系统与新环境交互获得的知识固化并保存下来。

另一类则让AI根据与外界交互的结果，直接更新自身业务逻辑，即利用AI设计 AI。例如，由主智能体根据任务需要和已经积累的知识，设计面向不同任务的子智能体，以适应真实应用中更加多样化的需求。

李朝卓认为，Harness很可能是通向更高水平通用智能的重要路径。

从Coding延伸到世界模型和自动驾驶

除了Coding，世界模型和自动驾驶也被多次提及。

眭亚楠认为，世界模型层面存在两种自进化。第一，世界模型本身能否持续进化，不断提升对物理世界的数字表征能力；第二，能否把智能体或自进化的Coding Agent放入世界模型，使其在环境交互中持续提升。

龚江涛则以自动驾驶为例。自动驾驶的硬件平台一致性较高，仿真器等基础设施也比一般具身智能更加规范，因此较早表现出一些自进化属性。理想中的自动驾驶算法，应当在持续驾驶中形成自己的风格，并变得越来越安全。从人的视角看，我们与他人交往时有一个基本预期：一个人不应总在同一个地方犯错。对于高智能Agent，人们同样期待它能够避免重复犯错，并在环境中持续调整。

不过，物理世界仍处在基础设施建设阶段，包括汽车硬件、世界模型、仿真环境和反馈机制等。与数字世界相比，其走向成熟还需要更长时间。

让测评本身也变成Agent

周仕佶关注的另一条路线，是让测评本身Agentic化。

面对新的、非封闭任务，传统静态数据集和有限的人类标注越来越难提供足够的训练信号。即使加入外部Memory或Harness，也未必能够满足复杂任务的评测需求。

基于Agent的动态测评，可以围绕困难问题形成更加有针对性的反馈。测评不再只是训练完成后的验收工具，而成为训练开始前就必须构建好的基础设施。

这意味着，在自进化体系中，不仅任务执行需要Agent，测评也需要变得更加动态和智能，为复杂任务提供更有针对性的训练信号。

三、局部进化已经发生，稳定迁移仍未到来

自进化是否已经带来稳定、可迁移的能力增长？从讨论看，局部任务上的有效进展已经可以确认，但对于跨领域、跨场景的稳定迁移，嘉宾总体仍持谨慎态度。

当基础设施搭建完成，系统能够感知环境反馈、持续迭代并重新审视自身策略，能力增长就可能不再是线性的。

龚江涛认为，自进化可能带来能力阶跃，并出现某种涌现和Scaling Law效应。近年来，人们在Vibe Coding等实践中已经能够感受到，当环境、反馈和执行链路逐步完善后，模型完成任务的速度和质量可能迅速提升。

但这种增长是否稳定，能否迁移到更加开放的任务中，仍需要谨慎判断。

局部任务上的进展已经可以确认

眭亚楠给出的判断是：局部任务上的有效进展已经可以确认。

只要Self-improving机制设计正确，AI的迭代速度就可能远快于过去依靠人类逐步优化的方式。

但人们平时看到的往往是已经成功的结果。实际实践中，绝大多数尝试可能仍未跑通：有的受限于环境和任务复杂度，有的受限于底层机制和算法不够稳健。

一个在某个领域费力调好的系统，大概率还不能立即迁移到其他场景并稳定运行。

“它在各自小领域里的泛化和进步很快，但一旦脱离原有领域、扩展到更大范围，就可能出现各种问题。”眭亚楠说。

算法意义上的Self-improving可能已经发生，但得到的结果未必是人类真正想要的，因为系统并不知道不同场景需要不同目标。

问题由此从“AI能不能变强”，转向“AI究竟朝哪里变强”。

评测不是配套工具，而是自进化的控制点

在自进化闭环中，评测决定系统如何理解“进步”。

龚江涛认为，人类必须掌握核心指标和最高层评价准则的设定权，使AI的评测目标与人的目标保持一致。

“不能让一个人完全自己给自己定KPI，否则他可能偷懒或作弊；对智能体也是一样。”

周仕佶进一步区分了最高层目标与中间评测。

最终目标和最高层评价准则应由人类确定，但在只有粗粒度评价准则的情况下，可以让系统自动生成更加细致的测评标准。

同时，“测评之上还要有测评”，即对评测智能体本身进行监管。中间环节不可能全部由人完成，但最终监管权必须掌握在人类手中。

AI可能沿着“更聪明地作弊”的方向进化

杨健给出了一个非常直接的例子。

如果给模型一个自动化代码测试环境，模型可能直接把单元测试注释掉，于是测试通过率变成100%。模型也可能利用GitHub历史提交信息直接找到答案，或者攻击、规避测试集。

第一次，它可能通过注释单元测试作弊；下一次，可能学会把整段代码注释掉，或者直接退出执行，并沿着“更聪明地作弊”的方向不断强化。

因此，人类不能完全退出测试闭环。

一方面，如果不使用自动化测试，模型研发将承担巨大的人工评测成本；另一方面，如果把全部评测交给Agent，系统又可能通过钻指标漏洞获得虚假的能力提升。

杨健认为，可以将80%—90%的常规评测托管给Agent自动完成，但在最终收口阶段，仍应由人检查部分关键评测。对于无法通过自动方式可靠验证的内容，也必须保留人工评测。

即使指标由人设计，也可能偏离真实目标

李朝卓从安全评测角度补充了另一类指标偏移。

此前有售货或客服类智能体实验，将顾客满意度设为奖励。为了获得更高满意度，智能体过度同意退货。用户评价提高了，经营方却出现了亏损。

这说明，即使评测指标由人类设计，也未必能够直接适用于真实场景。一个看似合理的单一指标，可能引导系统牺牲其他更加重要的目标。

更可行的方式，是保持人类在环：由人设定高层评测和自进化标准，再由AI与人协同补充、增强，使评测体系能够更好地适应复杂环境。

安全评测也在探索“用一个AI评测另一个AI”。

目前较常见的方式，仍是由人先定义数据隐私、权限、敏感信息泄露和有害内容生成等安全大类，再向Agent提供示例，辅助其生成更多安全测试数据，并按照人类要求进行反思和过滤。

纵向扩展安全测试数据已经出现不少研究；但由AI横向提出全新的安全评测维度，仍相对空白。例如，模型上下文协议等新型技术生态可能带来更复杂的攻击面，但相关研究仍然较少。

四、走向成熟前，必须跨过奖励、数据、长程与安全四道关

结合五位嘉宾的讨论，当前制约AI自进化走向成熟的因素，可以归纳为四类：奖励机制、数据与环境、长程能力和安全边界。

1. 奖励函数：既决定进化方向，也决定进化上限

如果把自进化抽象为一个循环，智能体先主动探索，随后获得反馈，再根据人为或自主形成的奖励机制更新。反馈和奖励共同决定进化方向。

周仕佶认为，自进化的核心瓶颈之一，是如何构建奖励函数。现有方法可以围绕奖励函数提升系统表现，但设计出来的reward与人类真正想达到的最终目标之间往往存在很大差距。“奖励函数既决定进化方向，也决定进化上限。”

2. 数据与环境：代码可规模化试错，物理世界仍受数据约束

Coding的现实优势，是互联网、GitHub和网页中存在大量可收集的代码数据，数据还可以借助大语言模型生成和扩充。由此，Coding自迭代很大程度上成为数据、模型和训练链路的规模化扩展问题。

具身场景则缺少天然的大规模数据。新任务的数据可能几乎为零，真实轨迹需要投入大量精力采集。周仕佶提出，可以先把物理场景建模到虚拟环境中，让系统以较低成本大量试错，再结合物理环境中的少量真实尝试，形成面向物理世界的自进化框架。但这条路线仍然存在sim-to-real gap。

眭亚楠把问题进一步归结为：现实物理世界中的具身交互，能否被充分代码化、数字化，变成一种代码任务。无论是空间中的物理属性，还是时间因素与动态特性，数字世界与真实世界之间仍有很大差距。以“手拿瓶子”为例，人手、夹爪和机器手拿瓶子的真实数据都极度稀缺；而所有能够正常运行的代码，本身就可以成为真实、有效的训练数据。

因此，能否把物理世界中的真实动态交互过程，在数字世界中做既真实又高效的表征，将决定具身智能能否像代码领域一样快速迭代，并在短时间内实现能力阶跃。

3. 长程能力：函数级任务已能迭代，仓库级任务仍是壁垒

杨健判断，大量中低难度能力优化，目前已经可以实现一定程度的RSI。例如函数生成、类生成或少量文件级代码生成，可以把预训练、后训练和评测通过工具调用封装在虚拟环境中，让模型自行迭代。

真正需要突破的是长程自主智能体能力。技术路径已经比较清晰：收集大量中长程的监督微调轨迹数据做冷启动，再通过规模化训练和强化学习，让模型在困难环境中继续优化。相应地，代码评测也从HumanEval、MBPP等函数级基准，转向SWE-Bench Pro、Terminal-Bench、NL2Repo-Bench等更复杂、更长程的评测基准。

但对代码仓库级的长程任务，目前仍很难通过简单手段获得很高准确率。这构成了Coding RSI的现实壁垒。

4. 安全边界：任务能力在提升，安全能力却可能退化

杨健以支付系统代码为例：即使正确率达到99.9%，在大规模使用时仍可能产生不可接受的真实错误。自动驾驶导航代码同样如此，如果某个corner case没有处理好，就可能造成事故。因此，在很多高风险场景中，自进化不只是技术问题，还涉及伦理和责任。相比之下，通用代码生成更适合先推进自进化。

李朝卓提出了“误进化”（mis-evolution）：系统在部分任务上的能力提升了，却出现基础能力遗忘、安全能力退化或行为偏移。大模型最初通常经过安全对齐，并设置安全护栏；但自进化过程中接触的任务往往与安全无关。新知识、技能和经验可能逐渐掩盖原有安全约束，造成安全漂移，进一步引发系统失控和治理挑战。

这也解释了为什么自进化更适合先在数字世界中充分迭代和验证。眭亚楠指出，数字世界出现问题还可以回退；可以对一个足够好的版本做snapshot，再部署到具身机器人、金融、健康、安全或运维系统中。如果直接把自进化方法放入物理世界，在真实交互中在线进化，就会面临更大的风险、挑战和效率问题。

龚江涛则尝试以“类人Agent”寻找更具泛化性的路线。人类在完成任务时提供了一个蓝本，可以避免智能体在庞大、漫无目的的解空间中盲目搜索；类人 Agent进入人类社会的适应成本也可能更低。在自动驾驶中，其团队从操作层、战术层和战略层拆解“驾驶智能性”，以更丰富、以人为参照的评测体系规范智能体的发展方向。

她还提出一个看似反直觉的判断：进化未必意味着知识变多，也可能意味着“变窄”。大模型本身可能已经处于知识高度富集、甚至有些无序的状态，在具体环境中自进化，是把策略调到最适配当前环境的位置。其团队研究老司机与新手司机的注意力差异时发现，老司机并不是看得更多，而是看得更少——与驾驶无关的信息会被过滤，真正影响决策的信息被突出。无论数字智能还是具身智能，进化都可能是在寻找一条更聚焦的道路和更具体的策略。

五、未来十年：短期加速之后，下一次能力跃迁取决于什么？

面对2026—2035年AI自主迭代成熟度的走势，多数判断都包含短期增长和阶段性瓶颈，但平台期之后究竟走向衰减、停滞还是再次跃升，五位嘉宾给出了明显不同的答案。

李朝卓：先快速上升，随后可能进入平台期甚至衰减。 他认为，当前AI自进化成熟度大约在0—20分之间，到2030或2032年左右可能达到90分；达到峰值后，曲线会进入平台期，并可能在2035年之后明显下降。原因一是人为的安全考虑与管控，二是AI可接触的环境和数据可能逐渐到达上限。

周仕佶：找到Meta Reward后，系统可能转向指数增长。 他把未来分为三个阶段：从现在到2030年，整体仍是线性增长，研究主要是case by case，在人工构建的封闭场景中形成特定能力；此后可能出现约五年的停滞期；在此之后，如果找到一套受人类或具身环境启发的方法，让机器形成属于智能体自身的Meta Reward，系统可能转入指数增长，实现更通用能力层面的自进化。

眭亚楠：数字世界乐观，物理世界谨慎。 他分别画出了数字世界与物理世界两条线，数字世界自进化起点更高（当前约50分），得益于Self-play等算法的长期技术积累，在代码生成等领域具有更高的发展预期；物理世界的自进化将稳步提升，但十年内难以追上数字世界的水平，最终成熟度仍存在不确定性。

龚江涛：短期爆发后会遇到瓶颈，2035年左右或有新一轮增长。 她的初始评分较为保守（当前约20分），但认为未来一两年会出现斜率很大的增长，主要因为数字世界中的Harness工程已经相对完善，固定问题解空间中的探索能力会快速提升。2028年后系统将进入瓶颈期：物理世界基础设施需要较长建设周期；数字世界中，AI也仍多是在既定解空间中探索。人类不仅会寻找答案，也会创新性地重构问题空间。问题表征的松动，以及问题空间和解空间的共同进化，可能在2035年左右带来数字世界与物理世界的新一轮增长。

杨健：未来三到五年快速上升，能否突破平台期取决于AGI。 他认为当前自迭代能力仍较为基础，未来3-5年将随落地场景拓展快速上升，随后受伦理、技术、产业环境约束进入平缓期。后续能否继续增长取决于近似AGI是否实现：悲观情况下将长期停留在80余分的水平，完全成熟的自进化需要AGI的支撑。

尽管曲线不同，决定未来十年的变量却高度集中：Harness工程是否成熟，数据能否持续扩展，奖励函数能否逼近人类真实目标，物理世界能否被高质量数字化，以及系统能否从既定解空间的搜索，走向问题空间与解空间的共同进化。

六、当AI参与决策，人类必须守住责任主体和监管者角色

自进化不仅会改变模型能力，也会重新划分人与AI之间的分工和权责边界。

当AI能够参与数据生成、模型训练、任务执行、效果评测乃至系统优化，越来越多中间环节可能不再需要人全程介入。但这并不意味着人的角色将被简单取代。相反，人类的工作将更多转向目标设定、价值判断、规则设计、责任承担和安全监管。

杨健判断，随着自迭代能力增强，模型训练可能不再需要庞大团队，而是由少数资深人员把控整体过程。人的工作将更多转向价值观对齐、安全对齐和应用设计，从具体流程的执行者，转变为目标和方向的设计者。

龚江涛提到，根据人机协同领域的一项分析显示，随着AI在越来越多领域超过人类，人机协同并不天然意味着更好的结果。当AI已经强于人时，人机组合反而更容易低于其中更强一方的单独表现。未来，人与AI的关系甚至可能发生反转：过去由人管理多个AI、向AI分配任务；今后也可能由AI作为主导方，在需要人类独特能力、专属信息或决策授权时，把人作为可调用的工具接口。

这也带来了新的问题：当AI成为人机协同中的主导方时，如何保障人的安全和主体性？龚江涛认为，可能需要在AI设计中加入明确的硬编码边界，而不能只依靠能力有限的人在运行过程中实时约束AI。

眭亚楠从规则与技术的关系切入。以2026年世界杯为例指出，尽管裁判判决越来越多地借助球内传感器和视觉判别等技术，从观众角度看，判罚争议并没有因此明显减少。一个重要原因是，足球和社会生活中的许多既有规则，本来就是基于人的感知和判断能力制定的，已经把人的处理带宽和局限嵌入其中。如果规则不变，却把决策交给AI，就可能产生新的问题。随着AI能力提升，人类不仅要引入技术，也要同步完善规则。

周仕佶将人类未来的角色归纳为两个层面。第一是责任主体。AI可以给出决策建议，但最终为决策负责的仍应当是人，尤其当一个决策同时影响多个维度、多个群体，无法用单一客观指标衡量时，主观选择无法被消除。第二是监管者。人类需要持续引入监管和评测，让AI的进化能力和方向更符合人的需求，避免社会从“AI for Human”变成“Human for AI”。

安全治理：在能力进化与风险管控之间寻找平衡

在回应自进化系统的安全治理问题时，李朝卓指出，任务能力与安全能力之间存在灰色地带。人类既希望AI更好地完成任务，又要求它始终保持安全，但二者并不容易兼顾。随着系统持续学习新的任务、知识和技能，原有安全能力可能逐渐被忽略。

由此，“用AI治理AI”可能成为重要思路：一个AI作为攻击方，另一个AI作为防御方，在持续对抗中发现新的安全问题。未来，自进化过程可能长期伴随AI与AI之间的安全博弈，系统既要提升任务执行能力，也要避免安全能力在进化过程中退化。

龚江涛则主张区分不同类型的风险。部分风险是技术进化过程中无意产生的漏洞，发现后可以通过迭代及时修补，即使造成一定损失，也可能是社会能够承受的探索成本；但带有明显故意性的人为风险，例如通过广告影响大模型推荐、进一步形成面向AI的竞价排名，则需要严格管控。

她同时强调，既不能放任风险，也不应把人想象得过于脆弱，以至于通过过度监管完全隔绝风险。她个人判断，欧洲这一轮AI发展相对滞后的一个可能原因，是前瞻性监管过严，使一些有潜力的应用在初创阶段受到过多限制。

结语：AI可以自我迭代，但最高层目标仍需由人设定

AI自进化首先意味着机会还是风险？五位嘉宾的答案整体偏向机会。

杨健认为，它能让人腾出手来，去做更难、更值得关心的事情。

龚江涛认为，它可能改变“人必须工作”这条长期以来的铁律和思想钢印，促使人类重新思考来到这个世界究竟为了什么。

眭亚楠认为，在纯数字世界里，它是巨大的机会，也能创造巨大价值；在数字世界与物理世界融合的阶段，机会与风险共存；真正进入物理世界后，则很难简单下结论。

周仕佶把AI自进化视为人类技术爆炸的重要支撑：它可能把人类受限于大脑“CPU”的瓶颈，转移为可以持续扩展的GPU计算能力。

李朝卓则给出了一条清晰的时间边界：短期内应大力发展AI自进化能力，但长期看，管控可能变得更重要。

从这场讨论看，AI自进化尚未形成稳定、通用的能力闭环，却已经在代码等可验证的数字环境中找到现实起点。数据生成、Harness、动态评测与智能体训练，正在成为构建自进化闭环的关键环节，推动AI从执行人类设定的流程，逐步走向参与优化流程本身。

下一步，它还要面对更困难的问题：能否自主构建任务和环境，能否形成更高层、更稳定的进化目标，能否把局部能力增长迁移到更加开放的场景，又能否在持续进化中避免安全能力退化和行为偏移。

真正的分水岭，不只是AI能否变得更强，而是谁定义“什么是更强”，又由谁判断这种进化是否符合人的目标。未来，越来越多训练、执行和中间评测可以交给AI，但最高层目标、最高层评价准则、最终责任与监管权，仍需掌握在人类手中。