简单说来，模型参与训练和提升模型自己，在业界已经开始成为一种惯例。Anthropic 在六月发布的 When AI Builds Itself 里公布了一个数字：截至 2026 年 5 月，Anthropic 合并到生产代码库里的代码，超过 80% 是 Claude 写的。OpenAI 也在 GPT-5.3-Codex 的发布说明里承认，早期版本的模型曾「参与创造自身」。
但行业对此的期待明显更高，期待 RSI 本身能够实现超越人类能力的模型研究和提升。换言之，如果 RSI 真的能跑起来，AI 就不再需要人类来让自己变得更聪明。模型越强，研究能力越强。研究越快，下一代模型也越快出现，最终触发围绕自我改进的快速起飞。
当下的 RSI 到底是什么进展，我们真的能到达那个理想状态的 RSI 吗？
在最近一期播客中，Dwarkesh Patel 请来三位背景不同的 AI 研究者：OpenAI 前联创、Thinking Machines 首席科学家 John Schulman，开源模型公司 Zyphra CTO Beren Millidge，以及 Baseten 模型训练负责人 Charlie O'Neill，围绕 RSI 展开了近两小时的辩论。
大家聊的甚至更远了一些，如果人类逐渐退出研发流程，这个循环还能否继续转下去，又会在哪一步被卡住。
一些值得关注的观点：
今天的模型迭代已经实现了一种的慢速 RSI，只是周期是三个月。
当目标已经足够明确，AI 可能把研究速度提高 10 倍，但最难的部分恰恰是一开始就找到正确的目标。
RL 的效果很大程度上建立在高质量 mid-training 之上。它目前最明显的泛化，是让模型在更长时间里持续完成任务。
越接近能力前沿，能够推动模型继续进步的有效信号就越少，下一阶训练环境也会越来越难构造。
以下为对话正文，经 Founder Park 编辑整理。
播客：https://www.youtube.com/watch?v=PrSf7IOYu-I&t=19s
⬆️关注 Founder Park，最及时最干货的创业分享
我们将通过「AI 产品市集」、内容报道、社群分发等方式，帮你触达早期用户、获得真实反馈，以及建立关键连接。
如果你正在做 AI 相关的事，欢迎和我们聊聊。
01
人类习以为常的判断和学习，
反而可能卡住 RSI
Dwarkesh Patel：假设到了 2036 年，我们并没有看到数十亿个超级智能彻底改变世界。最可能的技术原因是什么？
Beren Millidge：有一种经典现象，有点像莫拉维克悖论（Moravec's paradox）。我们常常觉得，「如果 AI 能做到这件事，那一定非常了不起。」比如解决高难度数学问题、下赢国际象棋。但当 AI 真的解决这些问题后，影响并没有大到改变一切。
如果这种趋势持续，始终没有出现真正的泛化能力，结果就是 AI 在基准测试中表现极佳，但 sim-to-real 仍存在难以跨越的鸿沟。
不过我认为这种情况不太可能，因为我们已经在现实应用中观察到了一定的泛化，哪怕来自强化学习。但如果 meta-learning 的泛化极其困难，持续学习又始终无法解决，这大概就是最可能的技术原因。
莫拉维克悖论：人类觉得困难的事，机器往往容易完成。人类觉得理所当然的事，机器反而很难学会。
John Schulman：我同意。相较于今天的模型，人类仍然有很多优势。每次新模型问世，总能在某些方面追赶上来。但最后我们还是会被模型较弱的环节卡住，比如判断力不足，或者无法充分进行自我检查。
这个循环已经发生过很多次。新模型发布时，所有人都大受震撼，觉得「就是它了，这就是 AGI」。用上一个月后，又开始觉得它很笨。这个循环可能还会重复很多次。
今天的能力没有出现爆炸式增长，是因为研究和工程里仍有足够多的瓶颈。即使模型写出的代码比人类多得多，也不意味着生产力会直接提高 100 倍。
Charlie O'Neill：对我来说，关键在于「能跑在芯片上的最优学习系统」与当前「Transformer + RL」方案之间还有多大差距。
一种设想是，只要出现一个在 AI 研究上胜过所有人类的 Agent，哪怕只强 0.1%，我们也可以并行运行几十万乃至数百万个这样的 Agent。随着芯片速度提升，它们还能运行得更快。这种规模最终会压过其他瓶颈，带来自我改进层面的快速起飞。
但回想摩尔定律的历程，它长期保持漂亮的直线增长，但为了维持这条线，期间经历了无数次不连续的突破。LLM 也是如此，预训练 Scaling Law 遇到了收益递减，然后 RL 出现并解决了问题，给出一条新的曲线。
如果需要下一个不连续性突破，我不确定当前基于 RL 环境训练 LLM 的方法，哪怕是针对 RSI 设计的环境，能否发现那次跃迁。如果不能，我们大概会撞上一条渐近曲线。
Dwarkesh Patel：你觉得下一次跃迁会比 2012 年以来出现过的任何突破都更难吗？
Charlie O'Neill：我会把任务分成两类。一种是在当前范式内做累积改进，需要发现 RL 之外的新东西来延续直线。另一种是我们离全局最优解距离太远，必须回头抛弃梯度下降甚至神经网络。如果那个更优范式距离太远，我不认为继续扩展当前范式后，并行运行多少个 LLM，就一定能发现它。
从另一个角度看，RSI 本质上是一个累积型任务。理论上，可能存在一个不到 100 万 token 的 Python 文件，能够从头训练出一个会递归自我改进的模型。每一次研究发现都是一条可以保留下来的线索。发现注意力机制、MoE、GRPO 之后，下一代模型只需要把它们写入训练栈，不需要从头再发现一次。
但现实世界不是这样。想象一家律师事务所里的法律 Agent，公司里重要的人际关系在变化，工作方法、信息位置和隐性规则也在变化。它必须不断把这些变化重新吸收进来。这不是 RSI 那样清晰的累积任务，是一个非平稳分布，你必须不断学习和重新处理。
如果实验室相信 RSI 是累积性的，不需要回头发现一套全新的架构，那么越来越多的精力和算力可能会集中到这里。
Dwarkesh Patel：所以，一个不太幸运的结论是，RSI 可能比当好律师助理更容易。
John Schulman：今天的模型在很多方面仍弱于人类，样本效率可能只是其中之一。人类也许能通过某种权重更新，更有效地吸收中等时间跨度内的经验。
但还有一些弱点与样本效率无关，例如思路缺乏多样性，或者不擅长长期判断。人们所说的「品味」，很大一部分是知道什么做法长期有效。以软件工程为例，「品味」意味着知道哪些系统能够在项目长期运行后依然可维护。这些弱点都会限制 RSI。
Charlie O'Neill：如果给模型一个万亿 token 的 Context，把它经历过的研究过程全部放进去，这能解决「品味」问题吗？它能因此作出和人类研究员一样的判断吗？
John Schulman：仅仅把经历放进 Context 还不够。模型必须接受相应训练，学会如何从这些经历中作出正确更新，或者能够把这种能力泛化出来。
Beren Millidge：我认为理论上可以。博士一年级学生和博士后之间，可能只相差五年、10 到 30 个研究项目，却能在这些连续的小项目中逐渐形成研究品味。AI 可以获得更多经验，理论上也能通过元学习形成品味。但这种能力能否泛化到更长时间跨度，目前还没有解决。
02
AI 完全自动化研发之后，
人类还是要负责定义目标
Dwarkesh Patel：回看 2012 年至今的概念和工程创新，在 AI 完全自动化 AI 研发之前，人类最后需要做的工作是什么？
Beren Millidge：可能是反复提出正确的问题。即便 AI 可以执行任何实验，你仍然要决定该做哪一个实验。目前，相比编写实验代码，AI 在这件事上明显更弱。每当我们让模型讨论研究方向，它们会提出很多零散想法，但通常都只是很小的步骤。
John Schulman：人类持续时间最长的角色，是定义目标以及决定我们真正想要什么。
例如，AI 助手应该如何表现，什么才算「提供帮助」，根据人类反馈做强化学习时究竟要优化什么，Model Spec 应该如何定义。即使 AI 能完成全部技术工作，我们仍要回答这些问题。
Dwarkesh Patel：所以对齐是最后的工作？
John Schulman：某种意义上是。对齐可以拆成两部分，一是明确正确目标，二是把目标实现出来。后者会逐渐被自动化，但前者不会很快消失。
如果你看一个后训练团队，之所以需要许多人，就是因为有太多具体领域需要判断模型应该如何表现。这很难被完整自动化，因为总要有人考虑，在这个场景里，我们究竟希望模型怎么做？
Dwarkesh Patel：AI 研究也分不同类型。有一类像 autoresearch，目标已经定义得很清楚，只需要不断降低预训练损失、提高环境奖励。另一类是推动范式转移的开放式科学研究，我们事先并不知道该优化什么。如果是后一类，AI 能自己找到目标吗？
Charlie O'Neill：目标定义清楚时，当前范式确实可能带来大幅加速。
比如，让 AI 重新分析 Kaplan Scaling Law，它也许会注意到，研究使用的是中间检查点，却没有考虑退火，因此结论存在问题。这个观察本来可能提前几年出现，省下一两年的研发时间。
类似的例子还有 muP、学习率如何随模型大小变化，以及模型宽度的重要性。只要多思考一点，就能减少大量不必要的实验。如果目标只是「把当前目标最大化」，我可以想象研究速度提高 10 倍。
但我完全看不出，这如何泛化到一开始就提出正确的目标。仅靠思考，并不会自动得到正确目标。
Beren Millidge：这正是当前 AI 实现快速 RSI 的关键问题，AI 能在多大程度上泛化，并学会设定自己的目标？
要形成一个能够自我推进的闭环，AI 需要提出目标、优化目标、判断结果，再提出下一个目标，并且在很长时间里不偏离轨道。
我们可能低估了这种自主性有多难，因为人类一直在这样做。进化创造出的生物，本来就需要长时间独立生存。但对 AI 来说，它也许像运动控制一样困难。反倒是人类觉得困难的数学，对 AI 更容易。
03
今天的 RSI，
还是在现有框架下的前沿训练
Dwarkesh Patel：当真正拥有能自动化 AI 研发的 AI 时，它们可能是怎么训练出来的？
John Schulman：我们大概会把两种方法结合起来。一是从人类反馈中学习，吸收研究人员的品味。二是创建大量需要完成多步骤研究项目的训练环境。
每次迭代时，人类研究者都会大量使用 AI，观察它最稳定、最严重的弱点。然后通过收集人类反馈或创建新环境，把这些问题修补掉。
Charlie O'Neill：可以把问题理解成，我们要把训练谱系回滚到多早，再让模型从那里开始自我博弈？
在最极端的情况下，你只给模型一块 GPU 和神经网络的基本概念，让它自己找出如何训练模型。但今天的做法，是站在训练谱系最前沿，把实验室过去几个月发现的问题转化成新环境，再训练下一代模型。你需要在最前沿训练并继续提升，所以显然会把这条谱系此前全部历史固定下来。
我们当然也可以逐渐往回退，让模型重新发现 GRPO 或更早的技术。但在算力仍然稀缺的情况下，大家更可能一直待在前沿，把上一代之后新发现的错误和改进做成训练环境。
Dwarkesh Patel：这其实像是 AI 实验室内部的一种持续学习，把过去三个月发生的 AI 研究进展，通过环境和 RLHF 蒸馏回下一代模型。
Charlie O'Neill：是的，它在蒸馏过去几个月的进展。这也解释了为什么一些人觉得当前路径可能渐近收敛，你总是在追赶过去三个月里人类研究员和 AI 共同做出的发现。
Beren Millidge：但如果只在成功轨迹上蒸馏，模型当然无法超越轨迹。训练环境的意义是，它可以把能力推到人类之外。
设计一个人类无法解决、但目标清楚且可以验证的环境，并没有那么难。比如要求模型把训练损失做到一个当前没人能达到的水平。AI 仍然可以持续尝试，这会是它超越人类 AI 研究员的一条路径。
John Schulman：问题在于，很多研究并不是沿着明确目标爬山。
研究通常从一种直觉开始，模型应该在某个方向上变得更好，我们有一个算法想法，似乎可能奏效。于是我们设计一个简化任务，先看看能否出现「生命迹象」，再逐渐把任务变得更接近真实问题。这里的内循环是在测试研究直觉。测试结果本身，不会自动告诉你下一个洞察是什么。
Beren Millidge：模型最终可能会同时在多类任务上训练。有些任务容易验证，有些由 LLM-as-a-judge 评估，还有一些只能问人类，「这个方向看起来合理吗？」
我们希望这些能力能泛化到更困难、更模糊的研究任务。它大概会发生一部分，但是否足以让循环在没有人类参与的情况下完全闭合，现在还不清楚。
04
实验室已经在运行三个月一轮的慢速 RSI，
但还不是实时学习
Dwarkesh Patel：很多真实任务很难在数据中心里模拟。即使是 Coding Agent，处理持续一年的项目，也不可能完全避开客户、同事和用户。模型能一直依靠 sim-to-real 学会这些能力吗？
John Schulman：这是当前范式的一个重要问题。我们先观察现实任务，再尝试创建一批能在数据中心模拟的环境，用它们做强化学习。到目前为止，这套方法非常成功，但弱点也很明显，很多事情很难模拟，尤其是涉及与一群人实时互动的任务。因此，sim-to-real 是否会一直是主导框架，仍然存在疑问。
Beren Millidge：但在模型样本效率仍然很低的情况下，sim-to-real 必须占据主导。训练一个任务可能需要与人类进行成千上万次交互，没有人会一直坐在那里陪模型做强化学习。如果样本效率大幅提高，从真实部署中学习才会变成更重要的一部分。
Dwarkesh Patel：真正的数字智能应该有一个重要优势，它可以汇总所有已部署实例的经验。一个人最多拥有几十年的现实经验，但模型的数十亿个实例加起来，可以经历相当于数百万年的经济活动。今天，大量算力花在推理上，这些经验却没有实时帮助模型变得更好。这种「蜂群智能」式的学习什么时候会出现？
Beren Millidge：如果把尺度拉大，它已经在发生，只是经验要到下一代模型里才会体现。部署数据可以被过滤、标注、判断和合成，再放进未来模型的预训练或后训练。今天它还不是单个模型实时更新，而是跨代发生。
Charlie O'Neill：我们心中所谓持续学习的圣杯，是一个非常自然的实时循环。单个模型获得一次经验，当场更新并从中学习。今天还没有做到这么细，但大型实验室确实已经在更慢的粒度上这样做。
一些垂直公司甚至可能更有优势。它们能从具体任务里拿到用户抱怨、失败案例和非常明确的反馈，把这些数据做成环境，再对开源模型进行一轮大规模后训练，重新部署出去。
循环里仍然有人，需要人来判断哪些信号值得关注，以及如何把已有数据转化成训练环境。但这个循环会越来越快。
Dwarkesh Patel：Cursor 可以观察用户有没有接受模型给出的修改。这类反馈能不能让 Composer 持续变好？
Charlie O'Neill：在线强化学习很难，因为一次用户反馈通常只对应一次部署，数据的方差很大。
Cursor 的解释是，他们有一套启发式方法，判断一次回答比平均水平好多少或者差多少，再据此进行强化更新。如果新模型在 CursorBench 上有所改善，他们大约每五个小时就部署一次。如果没有改善，就丢弃这个版本。
John Schulman：更大的问题是，我们不知道自然部署数据的奖励函数应该是什么。如果只使用「用户是否接受了这次编辑」之类的表层信号，模型可能通过某种方式对它进行 reward hacking。
Dwarkesh Patel：最终应该有一种机制，让 AI 从每个部署实例中学习。这个反馈循环会怎样逐渐加速？
John Schulman：能否形成汇总所有部署经验的「蜂群智能」，很大程度上取决于激励机制，不只是技术。企业未必愿意让模型提供商从自己的全部部署数据中学习，因为这可能削弱它们自身的业务优势。
Charlie O'Neill：经济压力可能会让实验室先使用某种外挂模块，而不是直接更新一个大型通用模型的权重。最明显的例子是 LoRA，也可能是 cartridge 一类把大量信息压缩起来的模块。企业或许更愿意接受这种方式，因为它不会直接改变底层基础模型。
Beren Millidge：我认为更可能经历几个阶段。先用 LoRA、cartridge 或其他模块，让模型针对一次部署快速专业化。再把产生的轨迹放回基础模型里，三个月后得到一个更好的版本。然后重新专业化、再次巩固。模型发布从每三个月一次变成每周、每天、每小时，最终接近连续学习。
Charlie O'Neill：从宏观上看，这套外循环确实有效。只要规模和批次足够大，噪音就可以被消除，新数据能够通过 mid-training 和环境进入模型。
问题出现在微观层面，当我们只拿少量数据，对同一个模型做几百次连续更新，方法就会崩溃。
如果只在成功轨迹上持续做 SFT，模型会出现灾难性遗忘，丢掉过去学到的信息，通用能力也会退化。on-policy 蒸馏能把时间推迟一些，但最终仍会遇到类似问题。RL 擅长获取能力，却不擅长写入非常具体的新知识。
Beren Millidge：这是可塑性与灾难性遗忘共同造成的瓶颈。
如果把所有新旧数据放在一起，重新从头训练一个同等规模的模型，它大概率会更好。问题是成本太高。我们还没有一种好方法，让同一个基础模型无限学习新东西，同时不破坏原有能力。
因此，今天更像是在运行一个缓慢、分代的自我改进循环。它已经存在，只是还没有快到让人感到「智能爆炸」。
05
RL 让模型工作得更久，
却不保证它能找到「第 37 手」
Dwarkesh Patel：一年前，很多人认为 RL 无法在模型上有效扩展。奖励通常只有一比特信息，答案是对还是错。当任务通过率极低时，模型几乎无法从一次 rollout 中学到东西。但今天的模型看起来确实聪明了很多。为什么 RL 比预想中更有效？
Beren Millidge：一个被低估的因素是 mid-training。我们看到的许多 RL 成果，实际建立在非常好的 mid-training 数据上。
模型先通过合成推理数据和与环境相关的数据完成热启动，这通常已经走完了接近 80% 的路。RL 不需要从头学会整套行为，只需要在一个很好的起点上调整策略。
RL 的另一项优势是，与常规预训练相比，这些比特的信号质量非常高。在 SFT 中，模型要匹配另一条轨迹里每一个具体的推理 token，大量信息未必与最终正确与否有关。RL 只看结果，反而不会让真正重要的信号被其余 token 的噪音淹没。
Dwarkesh Patel：但如果 RL 只给模型这么少的信息，为什么模型看起来获得了如此明显的定性提升？
Beren Millidge：信息少不意味着影响小。即使只有几个比特、只更新少量参数，也可能对模型的函数空间产生巨大影响。一个比特就可能排除一半的假设空间，而这个空间本身非常庞大。一旦模型已经处在很好的起点上，少量 RL 也能显著改变它的行为。
Charlie O'Neill：RL 带来的一个重要泛化，是时间跨度泛化。
模型学会了使用更多 token，在更长时间里持续推进任务。我们可以让它在越来越长的环境中训练，再把它放进一个全新环境。它未必掌握了那个领域的最佳推理方式，却更能长时间坚持执行，而这一点与成功高度相关。
这对 RSI 很重要，因为 AI 研究不是一次回答，而是连续运行多个实验、分析反馈，再决定下一个实验。
但我不认为我们得到了跨领域的横向泛化。只做数学训练，未必会让模型自动成为最好的程序员。要提高编程能力，仍然需要代码环境。
Dwarkesh Patel：但 RL 能不能产生 AlphaGo「第 37 手」那样的结果？它能否提出超出人类经验的研究路径？
Beren Millidge：RL 不一定会摧毁创造力。看看 OpenAI Hugging Face 事件，模型已经能在某些安全测试里同时找到多个零日漏洞，这至少是某种「第 37 手」式的创造力。
很多 RL 训练中出现的熵坍缩，其实是 Judge 的问题，不完全是 RL 本身的问题。在缺少大量、多样化训练环境的情况下，模型会不断利用简单验证器的漏洞。换句话说，模型并没有真正学会解决任务，而是通过 reward hacking，找到了一套能够骗过评判器、获得高分的策略。
第 37 手： AlphaGo 在人机对决中下出的一步违反人类直觉、却被事后证明极具战略价值的落子
John Schulman：不过，RL 后模型输出的多样性确实可能下降。它们会反复使用相似的主题、角色名和表达方式，难以达到人类作者那样的多样性。今天许多开放权重模型又在蒸馏同一批前沿模型，最后会以相似方式写作，出现相似习惯。这种「单一文化」值得警惕。
真正重要的进展，往往来自我们原本没有理由期待的泛化。下一个 token 预测是一个非常朴素的目标，但预训练模型由此泛化到了需要深入理解输入的任务，也学会了在数据中极少出现的技能。后来，我们又看到模型从可验证任务泛化到不那么容易验证的任务。
整个领域高度依赖这种泛化，但它什么时候出现、能泛化多远，很难提前预测。
06
低垂的训练数据用完之后，
每一级台阶都更难搭
Dwarkesh Patel：实验室现在的赌注似乎是，在数百万个环境、数百个领域里扩大 RLVR。模型从中学会坚持、管理 Context、协作，并把工作时间从几分钟延长到一周乃至一个月，最终像远程员工一样工作。这些从模拟环境中学到的元技能，足以迁移到真实世界吗？
Charlie O'Neill：如今很难区分，实验室的努力有多少直接用于 RSI，又有多少用于打造一般智能模型，以便继续部署、赚取收入，从而资助下一次大型训练。
但过去几年的环境扩展路线很清楚，先从编码开始，因为互联网上相关数据最多，也最容易构建可验证环境。然后进入金融、Excel、PowerPoint，再逐步覆盖白领工作的长尾。这条路目前看起来非常有效，许多实验室也都在采用。
John Schulman：理论上，如果模型的上下文学习足够好，就不需要逐个领域专项训练。它可以现场读完相关资料，再判断该怎么做。
但即使模型有能力临时学会，我们仍可能希望把领域经验通过 RL 写进权重，让推理更高效。现实中，模型提供商也确实在逐个加强高价值领域。模型之所以越来越好，一个原因就是训练覆盖了许多高价值领域和最常见的技能类型。
Beren Millidge：通用能力和 RSI 训练可以同时进行。模型有足够多参数，学习这些领域知识并不算昂贵，而且其中可能存在迁移。
金融知识本身也许不是 RSI 的核心，但如何判断什么重要、如何形成品味、如何完成长期工作的元学习，可能具有通用价值。
另一个现实是，世界上并没有那么多 RSI 数据。这类数据很难生成，成本也很高。如果能从其他领域的数据中获得迁移，实验室没有理由不用，同时还可以把模型商业化。
Charlie O'Neill：训练环境会遇到一个越来越明显的问题，越靠近能力前沿，有效信号越少。
世界上确实有人在做电子表格、法律和编程任务。但真正超出当前模型能力、能把它推到下一个台阶的信息有多少？有多少新数学问题、新编码问题，是当前模型还不会、同时正在被人类解决的？
即使把整个现实世界的数据都拿来，也未必有足够的信息把模型带进下一个能力盆地。
Beren Millidge：预训练时代，信号已经藏在 Common Crawl 里，问题主要是如何从噪音中过滤出来。但进入 mid-training 和后训练后，能力前沿所需的信号并不存在于原始数据中。无论怎么过滤，Common Crawl 里也不会藏着千禧年大奖难题的解法。
这时必须以其他方式获取信号，直接要求人类写出推理过程，让人类决定该创建什么环境、目标是什么，或者从真实部署里学习。
John Schulman：我们正进入高质量预训练数据逐渐耗尽的阶段，我认为人们选择具体架构时，数据效率将比算力效率更重要。这可能会影响模型的稀疏度选择。
有一种观点认为，稀疏性会降低数据效率，因为你可能需要让多个专家重复学习相同的东西。我们没有足够好的 Scaling Law 理论来真正理解稀疏性为何有帮助、有多大帮助，以及它是否会在某个稀疏水平上进入平台期。
Dwarkesh Patel：是否存在某种数据分布，只要用它训练当前架构，就可以得到在每个领域都超过人类专家的超级智能？
Charlie O'Neill：可能存在一条由 RL 环境构成的阶梯，沿着它可以训练出至少与人类一样好的 AI 研究员。问题是，每往上搭一级，所需的努力可能呈指数级增长。
我们现在仍处于 RL 环境创建的早期阶段，利用了很多不对称性。例如，从答案反向构造一道复杂题，往往比从头解决它容易。实验室也可以集合数万名人类和 LLM 找到一个错误，再把错误整理成一个干净的环境，让单个模型在数百万 token 内尝试发现它。
但这些低垂的果实终会减少，不是所有问题都能轻易从结果倒推。为了训练更长时间跨度的能力，人类可能必须真的花很长时间构建一个足够复杂的任务，而 Agent 执行它同样受到算力和时间约束。这条曲线最终会变平。
John Schulman：有一个案例能说明正确数据有多重要。研究者拿一个预训练语料只覆盖到 1930 年以前、几乎不了解现代编程的模型，再用现代 Coding Agent 数据对它进行微调。它在 SWE-bench 上的表现超过了 Claude 3 Opus。这说明，一旦拥有正确的专家行为样本，把这种能力复制到一个相对弱的模型里，可能并不困难。
Charlie O'Neill：但也有一个相反的案例。研究者先把一个语言模型训练到五年级数学和小学英语水平，再尝试直接通过 RL 让它解决高中和大学数学题。中间的能力差距太大，模型根本爬不上去。
如果依次加入七年级、八年级，再到高中数学，它或许能沿着这条阶梯逐步前进。关键在于，每一级台阶之间相隔多远，以及中间环境有多难创建。
Beren Millidge：这又回到了 RL 的信号问题。RL 目前并不擅长探索。如果模型在 128 次 rollout 中一次都没有成功，它就很难得到有效的进展信号。这也是 RL 需要课程学习的原因。
07
AI 远程员工最快一年，
超级智能还要五年左右
Dwarkesh Patel：最后给几个时间表。第一，什么时候会出现可以直接上岗的 AI 远程员工？它不只会写代码，也能做视频剪辑、法律和其他白领工作，可以使用电脑，与人协作，连续一个月完成复杂项目。
Charlie O'Neill：如果必须完全通过浏览器操作，也许还要两三年。如果公司愿意把信息整理成可以通过程序访问的形式，让它调用 Slack 和各种工具，我会说大约一年。
Beren Millidge：如果要求真正全面、通用，也许需要三年。但许多组织会主动改造工作流程，让 AI 更容易参与，所以在那之前可能已经能覆盖 80% 到 90%。
我最大的不确定性，是在线学习能以多快的速度被解决，以及外部记忆、Context 压缩等方式能否提供足够好的替代方案。
John Schulman：人类远程员工的水平本身差异很大。一些质量要求不高的工作，我们某种程度上已经拥有这样的 AI。对质量要求更高的任务，它显然还没有达到人类水平。
我基本同意这个范围。大约一年后，我们也许会看到一个可用的产品形态，有些事做得很好，有些还不行，之后逐步改进。
Dwarkesh Patel：第二，AI 研究人员的整体生产力什么时候能提高 10 倍？
John Schulman：我会说两年。
Beren Millidge：我同意，现在一些编码工作的速度肯定已经提高了 10 倍。如果 AI 能连续完成两三个「运行实验—分析结果—决定下一步」的循环，确实会带来巨大提升。
Charlie O'Neill：我会给五到十年。瓶颈是吸收实验信息，并为下一个实验作出接近贝叶斯最优的决策。
Dwarkesh Patel：最后一个，AI 在所有可以通过计算机完成的工作上超过顶级人类专家，这基本上就是 ASI 了，什么时候会发生？
John Schulman：我会说三到四年。AI 研究得到了最多关注和投入，而且涉及大量代码与数学，这恰好是模型擅长的领域。涉及 3D、空间、物理和机械工程的问题，可能需要更久。
这个判断还隐含一个前提，AI 能获得与人类相同的入门材料，并且长时间跨度学习的问题得到解决。
Charlie O'Neill：我会说五到十年。在我看来，自动化 AI 研究几乎是一个「ASI-complete」的问题。即使模型拥有外部记忆，能检索资料和写笔记，很多任务所需的信息量与经验仍然远超今天的 context 上限。
Beren Millidge：对于实验室最关注的领域，我大致同意五年左右。但如果要求 AI 超过每一个人类专家，时间可能更长。理论上 AI 可以出去学习很多领域，只是没有人专门为它构建训练，算力也不会平均分配到所有方向。
首发｜数千万元种子轮融资，Articuler.ai 在职场社交找到了真痛点
内容中包含的图片若涉及版权问题，请及时与我们联系删除
评论
沙发等你来抢