Automated Statistical Model Discovery with Language Models

统计模型发现涉及在特定领域建模约束下的模型巨大空间中进行挑选的挑战性搜索。高效地搜索该空间需要建模和问题领域方面的人类专业知识。受大型语言模型（LM）的领域知识和编程能力的启发，我们介绍了一种基于语言模型驱动的自动统计模型发现方法。我们将自动过程置于Box的循环框架中：LM在提出表示为概率程序的统计模型并担任建模者的同时，扮演领域专家以批判这些模型之间迭代。通过利用LM，我们不必定义特定领域的模型语言或设计手工搜索程序，这是以前系统的关键限制。我们在概率建模的三种常见情景中评估了我们的方法：在有限模型空间中搜索，在开放模型空间中搜索，以及在自然语言约束下改进经典模型（例如，该模型应可被生态学家解释）。我们的方法与以前的系统性能相当，识别出与人类专家设计的模型相当的模型，并以可解释的方式扩展了经典模型。我们的结果突显了LM驱动模型发现的前景。

本论文试图通过利用大型语言模型（LM）的领域知识和编程能力，提出一种基于LM的自动统计模型发现方法，以解决模型发现中需要人类专业知识和领域知识的问题。

本文提出了一种基于Box的循环框架的自动化过程，其中LM在提出概率程序表示的统计模型并扮演建模者的角色和扮演领域专家的角色来评价这些模型之间进行迭代。通过利用LM，本文不需要定义模型的领域特定语言或设计手工搜索过程，这是以前系统的关键限制。

本文在概率建模的三个常见设置中评估了方法：在有限的模型空间内搜索、在开放的模型空间内搜索以及在自然语言约束下改进经典模型。实验结果表明，本文的方法与以前的系统相当，能够找到与人类专家设计的模型相当的模型，并以可解释的方式扩展经典模型。本文的方法有望推动LM驱动的模型发现。

最近的相关研究包括：AutoML、神经架构搜索（NAS）和基于贝叶斯优化的模型选择。