领域 ALL
特色 ALL
请选择
速览
今日热度
Agentic Large Language Models
LLM Other LLM Agent Multi-agent Collaboration Autonomous Workflows
2906
热度
2026年10月09日
大语言模型（LLMs）已席卷全球。它们能够以人类自身的语言与我们交流，并对现实世界进行推理，因而迅速成为写作、答疑以及诸多其他任务的首选工具。其生成的回答已切实影响着我们的决策与行为。倘若大语言模型本身能够直接在现实世界中采取行动，情况会如何？倘若大语言模型之间能够相互交互，又会发生什么？具备“智能体”（agentic）能力的大语言模型，正是将大语言模型的强大能力与其在真实世界中自主行动的能力相结合的产物。本书将系统探讨：这类智能体型大语言模型的工作原理、其具体行动方式、彼此间的交互机制，以及这一切对我们用户而言意味着什么。
许愿开讲
PDF
解读
Harness Learning Enables Generalizable Test-Time Adaptation
Agent Agent Planning Autonomous Workflows ML RL ML
897
热度
2026年09月28日
语言模型智能体由其基础模型及其“运行框架”（harness）共同定义；该运行框架是一个可执行程序，负责统筹模型调用、工具使用以及信息流转。由于不同任务对上述操作的组织方式要求各异，运行框架必须依据当前任务所提供的反馈进行动态适配。为此，我们提出“运行框架学习”（harness learning）方法：训练一个“提议模型”（proposer model），使其能基于执行反馈对求解器（solver）的运行框架进行修订。我们将这一过程建模为面向可执行程序的元学习（meta-learning），其中运行框架的修订扮演了梯度式适应中权重更新的角色。我们采用强化学习训练该提议模型，以修订后运行框架在具体任务上的性能作为奖励信号。在测试阶段，提议模型无需更新任何参数，仅需利用新任务上连续多次执行所获得的反馈，即可逐步优化并精炼运行框架。在推理任务与多跳问答任务上的实验表明，运行框架学习显著提升了修订质量，且这种在测试阶段即时自适应的能力可泛化至未见过的新任务。此外，在单次修订样本上训练所得的策略，能够通过多轮迭代持续改进运行框架；而针对修订序列整体进行训练所带来的增益，则因具体任务设置不同而有所差异。这些发现为构建持续学习型智能体指明了一条可行路径——此类智能体可将过往积累的经验转化为具有泛化能力的、可持续演进的系统性提升。
许愿开讲
PDF
解读
RSI-Anything: Unlocking Recursive Self-Improvement with World Models
AK's Picks Embodied AI and Robotics World Models Agent Autonomous Workflows AI4S Other AI4S
684
热度
2026年10月09日
递归式自我改进（RSI）旨在将交互经验转化为持续的性能提升，但外部反馈获取成本高昂，且随着策略不断演进，世界模型的预测结果可能逐渐失准。为此，我们提出RSI-Anything——一种基于JEPA-Anything构建的、适用于通用领域的框架，其核心是利用预测性世界模型来指导智能体行动与学习数据的选择。实际观测到的反馈既驱动策略或工作流的优化，也触发对世界模型的条件化适配；而组件功能验证与兼容性检查则共同决定更新后的策略—模型组合是否予以保留。在涵盖计算与科学领域的多样化任务中，RSI-Anything均展现出显著性能提升：在代码修复任务中，在编码器固定的前提下，采用静态验证器时成功率仅为26.3%，引入预测性数据选择后提升至29.2%，再经世界模型自适应优化后进一步达31.2%，且三者所消耗的测试资源基本相当；在图形用户界面（GUI）任务评估中，任务完成率明显提高，同时平均操作步数减少39.4%；在实验室规划任务中，历经五个连续策略版本迭代，任务得分由初始的21.80%跃升至46.01%，增幅逾一倍；在化学反应条件优化任务中，RSI-Anything在相同40次实验预算下，达到96.15%的平均最优观测产率，显著优于贝叶斯优化方法的82.16%；此外，一个端到端的免疫学科研应用实例进一步打通了工作流演化、预测建模与治疗假说生成之间的闭环。上述结果充分表明，借助预测性世界模型以及对系统更新的持续保留机制，RSI-Anything可在多种异构环境中实现稳健、可扩展的递归式自我改进。
许愿开讲
PDF
解读
What do Language Models Learn and When? The Implicit Curriculum Hypothesis
LLM PTSAD Latent Reasoning KR / KRR MTPLD
421
热度
2026年04月09日
大语言模型（LLMs）能够执行极为复杂的任务，然而这些能力在预训练过程中如何以细粒度方式逐步涌现，目前仍缺乏深入理解。验证损失（validation loss）的缩放律（scaling laws）仅能告诉我们模型在增加计算资源后性能提升的程度，却无法揭示其具体习得了哪些能力、以及这些能力出现的先后顺序。为弥补这一空白，我们提出“隐性课程假说”（Implicit Curriculum Hypothesis）：预训练过程遵循一种跨模型与跨数据混合比例均具有一致性的、具有组合性且可预测的隐性教学路径。为检验该假说，我们设计了一组简单、可组合的评测任务，覆盖信息检索、形态学变换、共指消解、逻辑推理和数学运算等多个认知维度。借助这些任务，我们在四个不同模型家族（参数量跨度为4.1亿至130亿）上系统追踪了各项能力达到固定准确率阈值的“涌现时点”。结果发现，不同模型间各项能力涌现的相对顺序高度一致（在全部45对模型比较中，斯皮尔曼相关系数ρ达0.81）；且复合型任务通常晚于其组成子任务而涌现。此外，我们还发现这种结构已编码于模型的内部表征之中：函数向量表征相似的任务，在训练过程中也倾向于呈现相似的能力发展轨迹。进一步地，利用本任务集所导出的表征空间，我们无需事先评估目标任务，即可有效预测若干未见的简单组合型任务在整个预训练过程中的性能演化轨迹（在不同模型上，预测决定系数R²达0.68–0.84）。综上所述，这些结果表明：预训练过程远比单纯观察损失曲线所呈现的更为结构化——各项能力以一种具备组合性、跨模型一致性且可从模型内部表征中直接读取的方式逐次涌现。
许愿开讲
PDF
解读
Closing the Approximation Gap in Simulation-free Latent SDEs
ML BAY INF Generative Models
324
热度
2026年06月15日
从含噪声的观测数据中恢复动力学系统，是神经科学、物理学等众多科学领域反复出现的挑战。潜在随机微分方程（Latent SDEs）通过将系统建模为一个不可观测的状态变量来应对该问题：该状态变量遵循一个可学习的随机微分方程演化，并生成所观测到的数据。变分推断（VI）为此类潜在SDE提供了一种可高效优化的目标函数。传统VI算法通过对时间进行离散化并借助数值模拟来评估该目标函数，从而在建模保真度与计算开销之间做出权衡。近期兴起的一类算法——“无需模拟的变分推断”（simulation-free VI），则绕开了这一权衡：它不再以漂移项（drift）参数化后验分布，而是直接以瞬时边缘分布（instantaneous marginals）对后验进行参数化。本文指出，现有无需模拟的VI算法虽提升了计算效率，却为此付出了代价：其参数化形式将近似后验限制在一类比基于模拟方法所能表达的SDE更小的子集中，从而损害了后验推断质量与模型参数学习效果。为此，我们提出了Helmholtz-SDE——一种全新的无需模拟的VI算法：它通过在满足一组预设边缘分布约束的所有路径测度（path laws）上进行优化，弥合了上述能力鸿沟。实验表明，Helmholtz-SDE对动力学过程的重建显著优于以往所有无需模拟的方法，尤其在后验不确定性较高时提升最为明显；同时，其性能可媲美基于模拟的VI方法，而运行时间却仅为后者的极小一部分。
许愿开讲
PDF
解读
Guardrails or Roadblocks? Effects of Pedagogical Style and Context Awareness in AI Teaching Assistants for Programming
Agent Human Agent Interaction AI Apps / Applied AI LPM
271
热度
2026年09月24日
由大语言模型（LLM）驱动、并配备教学约束机制（pedagogical guardrails）的人工智能教学助手（AI TA），正日益被整合进编程课程中，为学生提供可扩展的即时提示、概念性讲解以及面向代码层面的反馈。然而，这些教学约束机制本身也可能带来使用阻力：倘若学生感到所获支持过于严苛，或与自身当前的学习进展缺乏适配性与情境相关性，他们便可能绕过经批准的教学工具，转而求助于通用型大语言模型。为探究AI TA的设计特征如何影响学生的学习体验，我们在一门入门级编程课程中开展了一项随机对照实验，共招募132名学生参与。所有学生需完成三项与代码编写及程序调试相关的任务，并被随机分配至四种AI TA条件之一；这四种条件在两个维度上形成正交变化：教学引导风格（苏格拉底式引导 vs. 直接讲授式）和情境感知能力（无上下文信息 vs. 全面掌握题目要求及学生当前解题方案）。我们系统考察了学生对AI TA的主观评价、实际交互行为，以及任务后测中所体现出的理解程度证据。结果显示，学生对“具备完整情境感知能力的苏格拉底式AI TA”的评价最低，认为其在支持任务完成方面所提供的帮助显著不足。从描述性统计来看，该组学生在交互过程中表现出最高的压力水平、最高的外部大语言模型使用率，以及最低比例的、能体现完全理解的任务后解释——尽管上述差异均未达到统计学显著性水平。本研究发现表明：配备教学约束机制的AI教学助手并非天然更有利于学习；其实际教学效能，取决于教学引导策略与情境感知能力之间能否实现恰当平衡——而这种平衡必须让学生真切感受到其有用性、支持性，并愿意持续使用。
许愿开讲
PDF
解读
Multi-Stream Attention Residuals
AK's Picks LLM PTSAD ML TAVR RN
260
热度
2026年10月09日
注意力残差（AttnRes）支持在模型深度方向上进行内容依赖的特征检索，可视为沿深度轴执行的单流 Softmax 注意力机制。受序列轴上多头注意力机制成功经验的启发，我们提出了多流注意力残差（MSAR），它是 AttnRes 的扩展形式，将该机制推广至深度维度上的多头注意力，从而在几乎不增加额外开销的前提下，显著提升模型性能。MSAR 通过多尺度因果卷积，从序列上下文中提取各流的多样性，使得不同注意力头能够基于差异化的上下文视角检索历史隐状态表示，同时完整保留隐表示的结构完整性。所检索到的多个特征流，再经由轻量级自适应混合机制融合，生成单一流形式的层输入。MSAR 在维持单流数据源的基础上，按需动态扩展为多流计算，因而无需持久化保存多流状态，也无需引入多流间的通信开销。在全部 12 个下游任务基准上，无论模型规模为 180 亿参数还是 280 亿参数的 MoE 架构，MSAR 均持续优于以往各类残差变体，包括标准残差连接、流形约束的超连接（mHC）以及 AttnRes。在缩放律实验中，MSAR 相较于标准残差基线实现了 1.58 倍的等损失计算效率提升；而 AttnRes 和 mHC 对应的提升分别为 1.35 倍和 1.30 倍。上述结果表明，MSAR 是一种极具前景的大规模预训练残差架构。
许愿开讲
PDF
解读
Velocity Scaling in Flow Matching
GenAI Diffusion ML Generative Models
208
热度
2026年10月07日
近期研究表明，对学习得到的流匹配速度场 $v_θ$ 按时间函数 $γ(t)$ 进行缩放，可显著提升生成质量。先前研究认为：采用均方误差（MSE）训练的速度场会系统性地低估速度幅值，而缩放操作正是为了校正这一偏差。我们指出，MSE 训练本身并不会导致速度幅值不足。相反，我们发现速度缩放的作用在于减小“种群时间滞后”（population time lag）：即模型在时间 $t$ 采样得到的状态，其分布更接近训练数据中更早时刻（小于 $t$）对应的状态。换言之，速度缩放与将模型时间整体前移，是两种等效地缓解种群时间滞后的策略。我们在多种网络架构和不同模型规模上均验证了该现象：通过量化种群时间滞后并据此选取最优缩放增益 $γ(t)$，可大幅提高生成质量；在 ImageNet-256 数据集上、无分类器引导（no guidance）、步数（NFE）为 25 的设定下，FID 指标由 28.0 降至 12.2（该数值系依据邻近增益点测得的 FID 值经线性插值得到）。
许愿开讲
PDF
解读
Some Simple Economics of AGI
Agent Human Agent Interaction AI Safety / AI Ethics EVA Other AI Safety
156
热度
2026年02月24日
数千年来，人类认知一直是地球进步的主要驱动力。随着人工智能将认知能力从生物载体中解耦，可度量任务执行的边际成本趋近于零，从而吸纳一切可通过指标衡量的劳动——包括创造性、分析性与创新性工作。此时，制约经济增长的瓶颈已不再是智能本身，而是人类的验证带宽（verification bandwidth）：即在执行能力已然充沛的前提下，人类对结果进行验证、审计并承担相应责任的能力。我们将通用人工智能（AGI）转型建模为两条竞速下行的成本曲线之间的“碰撞”：一条是呈指数衰减的“自动化成本”曲线，另一条则是受生物学限制而难以提升的“验证成本”曲线。这种结构性不对称，在智能体实际可执行的任务与人类实际负担得起验证的任务之间，拉开了日益扩大的“可度量性鸿沟”（Measurability Gap）。它同时也推动技术变革的方向，从过去偏向技能（skill-biased）转向如今更偏向可度量性（measurability-biased）。经济租金正持续向三类稀缺资源转移：具备验证等级的真实基准（verification-grade ground truth）、具备密码学可追溯性的过程证据（cryptographic provenance），以及风险承保能力（liability underwriting）——即为结果提供保险保障的能力，而不仅仅是生成结果本身。当前以“人在回路中”（human-in-the-loop）为特征的均衡状态本质上并不稳定：一方面，它自下而上被侵蚀——因学徒制瓦解，“初级人才闭环”（Missing Junior Loop）不复存在；另一方面，它自内而外地瓦解——专家们将自身知识编码固化，却无意间加速了自身的过时（“编码者诅咒”，Codifier’s Curse）。在此背景下，未经充分验证的系统部署，对个体或企业而言反而成为一种私人性的理性选择，却由此产生“特洛伊木马式”的外部性。若放任这些力量不受约束地发展，整个经济体系将滑向“空心化经济”（Hollow Economy）。然而，倘若我们同步规模化提升验证能力与智能体的自主行动能力，原本威胁系统崩溃的这些力量，反而可转化为驱动无限探索与实验的催化剂，催生一种“增强型经济”（Augmented Economy）。本文据此为个人、企业、投资者及政策制定者推导出一套切实可行的行动指南。当下最根本的挑战，并非竞相部署最高度自主的系统，而是竞相筑牢对其监督与治理的根基。唯有使我们的验证带宽与执行能力同步扩展，我们所召唤出的智能，才能真正延续并守护最初赋予它意义的人性。
许愿开讲
PDF
解读
Some remarks on the connection between generative diffusion and optimal transport
GenAI Diffusion ML Generative Models DM
140
热度
2026年10月09日
我们探讨了生成式扩散模型与最优传输之间的三个简单联系。 首先，在任意时刻，数据与其奥恩斯坦–乌伦贝克（Ornstein–Uhlenbeck）加噪过程的联合分布，恰好是某一熵正则化最优传输问题的解；该问题的“温度”参数由当前噪声强度决定。因此，反向扩散过程可被理解为一种退火过程，其作用是逐步降低熵正则化的强度。 其次，我们研究“物种分化”相变现象——即数据分布的各个模态（modes）在生成过程中如何逐步显现——并从最优传输的视角，对比分析扩散模型与流匹配（flow matching）在该过程中的异同。以高维高斯混合模型为例，我们指出：扩散模型与流匹配通过动力学失稳机制实现模态分离，而这一机制在最优传输框架下则转化为生成初期一个指数级狭窄的边界层；该边界层经熵正则化作用而变得平滑、圆润。 第三，针对具有一般约束势能的通用前向动力学过程，我们证明：由得分函数（score）驱动的反向过程同样满足一个基于漂移项的变分原理，且该变分原理的最小代价恰好等于初始分布与最终分布之间的熵差。
许愿开讲
PDF
解读