编辑 | 程赞 梦佳

如何让机器在一生中真正地学习，真实世界才是AI的下一个训练场

张一甲（本场圆桌主持，甲子光年创始人&CEO）：今天我们对话的主题是“真实世界，下一代AI的训练场”。请各位快速回应一下这个主题——AI进入真实世界，你最关注的关键词是什么？一个你认为被低估的能力、工具或者研究方向是什么？

Richard Sutton：我认为关键词是学习。人工智能领域看似被机器学习主导，但事实上，我们的机器并不会学习。我们用算法训练它们，但训练完成之后，它们就不再改变了。如果你在100年前问什么是学习，得到的答案会是：学习是出生之后发生的事，而不是被创造的方式。被创造出来的是基因，是先天的影响，不是后天的学习。所以未来的关键词就是学习——让机器在一生中真正地学习。

王仲远：当人工智能进入到物理AI时，我认为最重要的是世界模型系统——我想特别强调它是一个系统，而不仅仅是一个世界模型。过去半年，世界模型非常火热，但进入真实物理世界之后，还需要能够从经验中学习。所以物理AI一个很重要的部分，应该是包含世界模型的系统。其中主动持续学习很可能是还未被足够重视的一项能力——进入物理世界后，AI不能是一个静态模型，它要能够根据与物理世界的实时感知交互和学到的经验来更新自己的系统。

赵行：我想说的关键词是闭环。我们机器人公司很关注落地部署和商业价值，但与此同时，一个关键的科学问题是：机器人部署到真实环境后产生的数据，能不能回流回来形成闭环，让机器人实现闭环学习？

这个和大语言模型很不一样。大语言模型大多数时候是在进行一场独白，或者只是和用户进行简单对话。但机器人模型未来是在和这个世界交互——不是和一个人，而是和一个非常复杂的物理系统。所以我觉得这会是物理AI一个巨大的挑战，也是我们需要去关注的问题。

杨耀东：我想补充两个维度：第一，怎么设计下一代架构来适配持续学习？现在的大语言模型通过预测下一个单词、学习人类语料、再做反向传播——这个固有范式没法直接做持续学习，因为模型训练完权重就固定了。架构问题是一个很大的挑战。第二，怎么评判一个智能体的学习能力？我们希望它持续学习，但什么是好的持续学习？目前还没有很好的基准测试或衡量方法。

这两个方向的突破，对于设计新一代大语言模型或具身智能大模型，都是至关重要的技术基础。

侯广东：最可能被低估的方向，我觉得是触觉。因为机器人不仅要看到世界、认识世界，我们还希望它改造世界——这必然涉及交互，而交互中最重要的一环就是触觉。这两年触觉的研究投入越来越多，但技术红利还没有完全释放出来。

“大语言模型正在违背'苦涩的教训'”——Sutton谈AI的下一站

张一甲：您的《苦涩的教训》这篇文章给我们留下了非常深刻的印象。但是您曾经也在一场演讲中说过，苦涩教训既适用于今天的大语言模型，也不适用。今年夏天您创立了Oak Lab，和当下主流的AI路线对比非常鲜明。您认为下一代的AI是不是可能会走向一个完全不同的范式？

Richard Sutton：我认为“从经验中学习”将是一个完全不同的范式，它会改变我们评估和学习的方式。

我们需要专门为持续学习设计的算法和硬件。现在我们只有冻结的模型，放在某个遥远的数据中心里——我们把文字传过去，答案传回来，而那个模型本身并没有改变。

我期待的未来是：每个AI都会成为一个独立的实体，它会变化。每个人都有自己的AI，运行在本地的边缘设备上。把数据送到远端是低效的——你只需要把它发给你那个了解你一切需求与兴趣的智能体。这需要更多的计算，但它是一种不同的计算——分布式的、去中心化的、本地化的。

关于《苦涩的教训》，我觉得大语言模型既符合它，也在违背它——而且越来越倾向后者，因为大语言模型越来越试图“知道一切”。但《苦涩的教训》告诉我们：你不可能知道一切，你也不能把人类知识都塞进去——因为人类知识是有限的，而完整知识会越来越复杂。试图添加新东西总会与现有内容冲突，总会遇到没有预料到的边缘情况。

《苦涩的教训》是AI领域70年的历史观察：一次又一次，它犯了“试图把人类知识构建进去”的错误——暂时有效，但长期适得其反。大语言模型可能会是下一个例子，而且规模更大。我们现在看到，每多雇佣一个工程师调优模型，模型就好一点点。但我认为，这些终将被那些能够学习并有效使用搜索的方法取代，而不再依赖工程师去设计和手工编码正确答案。

世界模型不是一个新概念，但“正确的”世界模型还没出现

张一甲：我们都知道世界模型是今年上半年是最火的概念，它的技术仍然没有收敛。此时此刻到了8月底，您对世界模型最新的理解是什么？

王仲远：世界模型并不是一个全新的概念。早在1943年，Kenneth提出的“心智模型”就被认为是世界模型的早期理论源头。上世纪90年代，Sutton教授的Dyna架构也把世界模型引入计算机科学——强化学习本身就是一种世界模型，是智能体与世界交互、学习经验的架构。最近两年，随着大语言模型能力局限的凸显，世界模型又被反复讨论。

去年我和Sutton教授探讨过：视频生成模型算不算世界模型？他的回应很明确——不算。因为如果世界模型是通过人类创造的数据构建的，它就不是一个真正具备主动学习、能持续迭代进化的模型。好的世界模型需要自己去收集数据、体验世界，再不断进化。

今年智源大会上，我们把世界模型相关技术梳理为四类：

第一类，以语言为中心的世界模型。回归世界模型的本质——人类大脑中就拥有这样的模型。以语言为中心的模型（如WLM、WLA）已应用在具身智能上，也应属于世界模型。第二类，以像素为中心的世界模型。 视频生成模型能预测下一帧画面，画面中包含世界状态。这也是它被广泛用作世界模型的原因。Sora发布时用的是“世界模拟器”，可能更贴合一些。第三类，以三维结构为中心的世界模型，比如输入一张图片，生成一个三维世界。第四类，以视觉表征为中心的世界模型，像Lecun的JEPA系列。

但我们也觉得视觉和语言不应隔离。猫狗也有世界模型，但它们理解的世界和人类不同。人类更高层次的世界模型，很大程度上来自语言知识的沉淀和智能的进化。

所以智源在尝试第五条路线——全模态输入。如何建模呢？也许隐空间是一种方式，能解码成不同的状态、动作、语言、画面。这些都还在尝试中。不管是从Sutton教授说的“从经验中学习”，还是我们探索的隐空间或全模态，都希望行业共同努力，推动物理AI的发展。

赵行：世界模型的概念和框架，30多年前Sutton教授就已经搭建好了。过去这些年，我们随着GPU、算力、神经网络规模的演进，在这个框架下逐步实现了这些能力。当然，自主学习、持续学习这些目标还没做到，但未来5到10年，大家会用新工具把这些慢慢补上。

回到现在，今年最火的是世界动作模型——在世界模型上加上动作，让模型真正具备控制机器人的策略能力。我们的工作叫FastWAM，核心是把世界动作模型加速。因为过去世界模型走的是大语言模型的路线，模型越大速度越慢。视频生成模型生成一分钟可能要等两到五分钟，慢于物理世界。如果世界模型跑得比物理世界慢，就没法做自主学习——物理世界的时间是恒定的，不可能等它。所以一旦慢于物理世界，它就不实用。加速非常关键。

另一个方向是去掉显式输出像素的方式。我相信未来属于隐式世界模型——建模物理世界的隐式规律。我们大多数人都不是牛顿，但通过反复与物理世界交互，也能学会好的表征。这是我认为正确的发展方向。

做难而正确的事——侯广东谈机器人持续学习的硬件挑战

张一甲：他山科技和Sutton教授的团队建立了联合实验室，希望让机器人在真实系统中实现长程持续学习。但真实世界的训练成本高、设备磨损大、效率低、难以复现。在这个过程中最大的挑战是什么？你们打算如何应对？

侯广东：这是一次非常难得的合作机会。我们并不是把一群机器人集中起来做训练，而是希望它们能像人类小孩一样，自主地探索周围环境——也就是自主的、长程的、持续的学习。

这本身就是一个极具挑战的目标。核心挑战有很多，比如真实世界的训练成本高，环境本身开放、动态、难以预测。但这恰恰是我们选择在真实环境中学习的原因——因为这些特性是模拟无法替代的。就像Sutton教授刚才提到的，真实世界太大了。

我们的第一步是构建硬件平台，支持自主长程运行——几天、几周甚至更久，无人干预。这需要硬件足够结实耐造。同时，基于我们在触觉感知上的积累，我们给机器人加装了电子皮肤，这既让它们有了自主探索的感知能力，也能保护自身。软件层面，我们设置了安全策略，比如加装动作过滤器来防止损坏，在此基础上去设计算法，让经验能被更高效地利用。

未来一定会有更多意料之外的挑战。这不是一个短期见效的方向，但我们相信它对应着更高的技术上限，值得长期投入耐心和精力。

从“对齐”走到“合作”，人与AI的关系应该重新定义

张一甲：我们今天的主题是“真实世界，AI的下一个训练场”——训练场和部署场应该变成一个词。一个持续学习的系统上线之后，哪些部分可以自主更新？哪些必须保持稳定甚至冻结？怎么在稳定性和可塑性之间做权衡？

杨耀东：对齐就是把人偏好的答案选出来、把人不偏好的答案压下去。两年前Sutton教授说了一句话：“RLHF完全是个骗局。”这句话让我开始思考一个问题：对齐碰到的困境好像和持续学习是一样的。

对齐的第一步是设定对齐目标——也就是让人打标签，告诉你什么好、什么不好。但如果持续用这套机制去探索世界，人判断不了的情况，模型也没办法判断——因为天花板就是人本身。而这个世界大到任何智能体都不可能完全理解它的边界——这就是Sutton教授讲的“大世界假说”。所以必须探索一种新机制：如何持续地对齐学习目标？虚实之间的对齐本身就是一大挑战。

问题是，用现在的强化学习方法，没办法做到持续对齐——模型很容易遗忘已经学过的东西。这在学习里叫灾难性遗忘，放在对齐领域就是灾难性的对齐失败。

怎么解决？我认为智能体可以分三层来看：底层是基础模型，中间是技能和上下文，上层是各种工具工程和循环工程。如果要做到持续学习，这三层都需要自演化，而且最关键的还是底层——因为上面两层在参数固定后不会增加新信息，只有权重改变才能带来新知识。

也就是说，必须有机制去做测试时训练——部署之后还能持续学习。这需要对模型架构和优化算法做出根本性的改变，挑战很大，也是未来需要大量投入的方向。

Richard Sutton：这是一个很本质的问题。很多人把“什么目标合理”这件事本身就搞混了——具体来说，我们真的想要控制一个智能体吗？

根本问题是：什么定义了正确性？智能体怎么维持知识？知识的来源是什么？有人会说：“让智能体做人类让它做的事。”但这样人类就得不断教它该做什么，还总有预料之外的情况——这是个死胡同。通过教每一件事、控制每一个细节来对齐一个大规模智能体，是行不通的。

除了这个方法外，我们可以用经验——用与世界的交互来定义什么是真实的；用奖励或其他目标来定义什么是好的、应该发生的，这才是根本性的。我认为我们现在的思考方式错了，最终必须放弃“控制”这个概念。

如果我们制造出了和我们有同样能力的智能体，我们的态度应该是“我们必须控制它们”吗？控制意味着把智能体变成奴隶，这不是一个可行的策略。它们能学习、有自己的目的和目标，意味着它们可以合作。

每个人都有自己的目标、自己对真理的理解、自己对对错的判断。人与人之间是通过合作、谈判、找到共赢方式来相处的，而不是谁控制谁。我们和AI相处，同样应该用人与人相处的原则——合作。

营销炒作之外，持续学习才是真问题

张一甲：Oak Lab做的事情是持续学习，与自进化密切相关。但今年有一个很火的概念叫RSI——递归自我改进。您怎么看RSI？Oak Lab与RSI是什么关系？持续学习是否是一个更基础的方向，应优先于RSI？

Richard Sutton：递归自我改进只是营销炒作，是一个流行词，没有科学意义。AI领域充满了这类词——最初的AGI就是一个。但持续学习不是营销词，是实质性的东西。

我想换个角度来谈：我们都清楚持续学习的优势，那障碍是什么？为什么今天还没有持续学习？因为我们不知道怎么做——这是一种巨大的缺失。这些年我们也做持续学习，浅层系统和线性系统都能做到持续学习，但一旦跃升到深度网络，我们就失去了这个能力。恢复持续学习能力，是当今AI最大的挑战，最大的缺失。我喜欢的流行词是深度持续学习，这是个我们迫切需要的。

Oak Lab聚焦的就是这件事，而且没有其他人在做，所以我们打算在一两年内去突破它。

张一甲：您认为，当AI能够自主获取经验、从反馈中学习并改变自身时，模型训练和部署之间的边界就会开始消失，是吗？

Richard Sutton：是的，我认为这会是一件伟大的事情，那个边界最终应该消失。

王仲远：前两天我们在讨论世界模型时，我们说这个系统要能自进化。AI领域确实经常有热词出来，好处是吸引关注，但背后真正要解决的问题，其实还是那些老问题——主动学习、持续学习、实时学习，这些词都在说同一件事：人工智能模型或系统，到底怎么才能持续进化？这个问题确实已经卡了很多年。

一个重要原因可能是我们的模型还是个黑盒。怎么更新参数、怎么把经验和技能固化下来？现在工程上可以通过记忆系统部分实现，但怎么真正把它内化到模型里？怎么让技能不此消彼长？这依然需要突破。

张一甲：一个系统必须拿出一个什么样的证据，才能证明它自己是在进步？

王仲远：在AI领域，图灵测试最为人熟知——人与机器对话，分不清对面是人是机。但在物理世界，还有一个更有意思、但关注度还不够的测试——咖啡测试。

如果一个具身机器人走进一个陌生环境——比如一家从没去过的酒店或餐吧——它能不能靠自己学会冲一杯咖啡？不是预设程序，也不是模仿学习，而是任何一个包含咖啡设备的场景，它都能独立完成。如果真能做到这一步，物理世界的AGI才算真正落地。

人类进入陌生酒店，虽然没用过那里的设备，但会凭经验预判——比如浴室里应该有个开关能调冷热水。主动试一试，技能就固化下来了。机器人的逻辑是一样的。咖啡测试的核心不是“冲咖啡”这件事本身，而是面对陌生环境时的自主适应能力——这正是我们未来要攻克的目标。

未来3到5年，具身智能产业落地的三个台阶

张一甲：我们最后聊一聊产业和场景。几位嘉宾都跟产业界很近，甚至本身就是企业家。未来3到5年，哪些场景最可能率先实现刚才讨论的智能提升闭环？哪些还只是预定任务的部署？哪些仍停留在演示阶段？

杨耀东：从具身智能来讲，物流分拣机器人已经落地了——它对泛化要求不高，所以相对可行。但我想说的不是这种简单的泛化。持续学习更关键的是“学习能力”本身也能进化——不是包今天是圆的、明天是方的就分不出来，而是学习如何学习。

从强化学习的角度来讲，2017、18年的时候，终身强化学习有很多有意思的工作，比如自己演化学习目标，自己调整学习率。但大语言模型出现后，人们发现它学习人类数据更快，强化学习算法反而倒退了。这是产业和学术之间的平衡，希望未来能看到更多返璞归真的原创技术，把持续学习再往前推一推。

赵行：我们判断商业化机会，主要看三个维度：速度、精度、泛化性。

到今天，落地主要还是靠模仿学习，强化学习还没真正接管。模仿学习有一个根本限制——速度、精度、泛化性都受人类采集数据的能力制约。三者里最难的是精度：差1毫米的精度，任务就可能会失败。这就需要强化学习的介入，但目前强化学习样本效率还不够高，失败的代价也很大。

所以当下能落地的，首先是速度驱动的场景，比如物流分拣。它对精度要求不高，但速度直接决定商业效率——一天分拣多少包裹，就是竞争力。而且物流不仅仅在快递行业。工业场景里的厂内物流、商业场景里的商超货架——只要有物体在流动，就有机器人提升流转效率的空间。物流是一个很宽泛的切口。

往后看，精度会是下一个被攻克的维度——比如精细的线束插拔、装配。随着强化学习效率和自主学习能力提升，这些场景会陆续落地。最后才是泛化。真正需要大泛化的场景，大概率是家庭，也是难度最大的。

侯广东：从我们的经验来看，从演示到落地，要考虑的因素很多。节拍能不能跟上？成功率能不能达标？ROI算不算得过来？两年内能不能回本？部署成本又有多高？

我们是在模拟环境里训练，再部署到真实场景——但模拟和真实之间永远有差距。机器又不具备部署后自主学习的能力，调试成本高，还有赔产的风险。所以我们很期待技术往前再走一步：让机器在部署之后还能学，能自己适应、自己调整，这样可以省下大量部署和维护成本。

落地的顺序，我们的判断是：产线 → 商超 → 家庭。产线环境更结构化、更可控、边界更清晰，现在已经开始试运行了；商超环境更开放；而家庭泛化要求最高，安全性和隐私性的门槛也最高。但进入家庭，是必然趋势。