From Kepler to Newton: Inductive Biases Guide Learned World Models in Transformers

通用人工智能架构能否超越单纯的预测能力，进而发现支配宇宙运行的物理定律？真正意义上的智能依赖于“世界模型”——即具备因果关系的抽象表征，它不仅使智能体能够预测未来状态，更能理解其背后的根本动力学规律。尽管此前的“人工智能物理学家”方法已成功复现了此类物理定律，但它们通常严重依赖强领域先验知识，实质上相当于将物理学原理“预置”于模型之中。与此相反，瓦法（Vafa）等人近期的研究表明，通用型Transformer模型无法自主习得这类世界模型：它们虽能实现极高的预测精度，却未能捕捉到任何潜在的物理定律。我们通过系统性地引入三种最简归纳偏置，弥合了这一关键鸿沟。我们发现，确保空间平滑性（即将预测任务建模为连续回归问题）与稳定性（即在含噪声的上下文中进行训练，以抑制误差累积），便足以使通用Transformer模型突破此前的失败局限，学习到一个逻辑自洽的开普勒式世界模型，并成功将行星轨道拟合为椭圆。然而，要获得真正的物理洞见，还需引入第三种偏置：时间局域性。通过将注意力窗口严格限制于最近的过去——即施加一个简单而基本的假设：未来状态仅取决于当前局部状态，而非复杂的长程历史——我们迫使模型放弃单纯的经验曲线拟合，转而发现牛顿力学意义上的力表征。我们的结果表明，看似微小的架构设计选择，实则决定了人工智能究竟是沦为经验性的“曲线拟合器”，还是成长为具备物理直觉的“物理学家”，这标志着通向自动化科学发现之路的关键一步。

通用AI架构能否超越单纯预测，真正发现物理定律（如牛顿力学、开普勒定律）？论文验证：纯数据驱动的Transformer在无物理先验时无法习得因果性世界模型，仅拟合轨迹而无法推断力与运动的因果关系——这是一个尚未被系统解决的新问题。

引入三个最小但关键的归纳偏置：1）空间平滑性（连续回归建模位置）；2）稳定性（噪声上下文训练抑制误差累积）；3）时间局部性（受限注意力窗口，强制模型只依赖瞬时状态而非长历史——从而从曲线拟合跃迁到力的表征）。这是首次证明‘局部性’这一简单架构约束可触发从预测器到物理学家的本质转变。

实验在合成开普勒行星轨道数据上验证：模型成功拟合椭圆轨迹（Keplerian world model），并在加入时间局部性后自动学习出近似F = -GMm/r²的力场表示；未使用任何物理方程或符号先验；代码已开源；亮点在于‘用架构设计引导科学发现’范式，后续可扩展至多体系统、电磁学等更复杂动力学。

‘AI Physicist’ (Wu & Tegmark, 2019)；‘Discovering Governing Equations from Data’ (Brunton et al., PNAS 2016)；‘Neural ODEs’ (Chen et al., NeurIPS 2018)；‘Transformers Fail to Learn Physical Laws’ (Vafa et al., arXiv 2023)；‘Causal World Models via Latent Dynamics’ (Goyal et al., ICLR 2022)