What Has a Foundation Model Found? Using Inductive Bias to Probe for World Models

基础模型的前提是，序列预测可以揭示更深层次的领域理解，这一点类似于开普勒对行星运动的预测最终促成了牛顿力学的发现。然而，评估这些模型是否真正捕捉到了深层结构仍然是一个挑战。我们开发了一种评估基础模型的技术，该技术通过检验模型在适应由某些假设世界模型生成的合成数据集时的表现来实施。我们的方法用于衡量基础模型的归纳偏置是否与该世界模型一致，因此我们将这种技术称为“归纳偏置探测”。在多个领域中，我们发现基础模型虽然在其训练任务上表现出色，但在适应新任务时却未能发展出符合潜在世界模型的归纳偏置。我们特别发现，那些基于轨道轨迹进行训练的基础模型，在适应新的物理任务时始终无法应用牛顿力学。进一步分析表明，这些模型的行为仿佛是在发展特定任务的启发式策略，而这些策略缺乏泛化能力。

论文试图解决基础模型（foundation models）是否真正能够捕捉数据背后的深层结构这一问题。尽管这些模型在序列预测任务上表现优异，但它们是否具备归纳偏置（inductive bias）来理解潜在的世界模型仍不清楚。这是一个重要且尚未完全解决的问题，尤其是在评估模型泛化能力和科学推理能力方面。

论文提出了一种新的评估方法——“归纳偏置探针”（inductive bias probe），通过让基础模型适应从一个预设世界模型生成的合成数据集，来检验其是否学习到了该世界模型的归纳偏置。这种方法不同于传统的性能评估方式，强调模型对底层机制的理解而非仅仅任务表现。

1. 实验设计涵盖多个领域，包括轨道运动、逻辑推理和语言结构等。 2. 结果显示，尽管基础模型在训练任务上表现出色，但在新任务中未能体现出对牛顿力学等物理规律的归纳偏置。 3. 进一步分析表明，模型可能依赖任务特定启发式策略，而非建立通用的结构化理解。 4. 论文为理解基础模型的学习机制提供了新视角，值得继续研究其在科学建模和因果推理中的应用潜力。

1. 「Language Models are Few-Shot Learners」（GPT-3论文） 2. 「BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding」 3. 「Inductive Bias in Machine Learning Systems」（多篇理论综述） 4. 「Do Vision Transformers See Like Convolutional Networks?」 5. 「Can Language Models Learn from Explanations in Context?」