ModelingAgent: Bridging LLMs and Mathematical Modeling for Real-World Challenges

近期大语言模型（LLMs）的发展显著推动了解决数学问题的能力。然而，现有的基准测试往往无法反映现实世界问题的复杂性，而这些问题通常需要开放式的、跨学科的推理以及计算工具的整合。为填补这一空白，我们提出了 ModelingBench，这是一个全新的基准测试框架，包含受数学建模竞赛启发的开放性问题，涵盖从城市交通优化到生态系统资源规划等多个领域。这些问题要求将自然语言转化为形式化的数学表达，运用适当的工具，并生成结构化且有理有据的报告。ModelingBench 还支持多种有效解法，体现了实际建模中的模糊性和创造性。 此外，我们还引入了 ModelingAgent，这是一个多代理框架，能够协调工具的使用，支持结构化的工作流程，并通过迭代自我改进生成有根据且富有创意的解决方案。为了评估输出结果，我们进一步提出了 ModelingJudge，一个专家参与的系统，利用 LLMs 作为领域专业评委，从多个专家视角对解决方案进行评估。实证结果表明，ModelingAgent 显著优于强大的基线模型，并且其生成的解决方案常常与人类专家的解决方案难以区分。 总体而言，我们的工作提供了一个全面的框架，用于评估和提升在开放式、跨学科建模挑战中解决现实世界问题的能力。

该论文试图解决现有数学问题求解基准无法充分反映现实世界复杂性的问题，特别是涉及开放性、跨学科推理以及计算工具集成的任务。这是一个新问题，因为大多数现有研究和基准主要关注封闭式或单一领域的问题。

论文提出了一种全新的框架，包括三个核心部分：ModelingBench（一个基于真实数学建模竞赛的开放性问题基准）、ModelingAgent（一个多代理系统，用于协调工具使用并支持迭代改进）和ModelingJudge（一种专家参与的评估系统，利用LLM从多角度评价解决方案）。相比传统方法，这一框架更注重实际问题中的模糊性和创造性，并允许多种有效解。

实验设计围绕ModelingBench展开，涵盖了多个领域的真实问题，例如城市交通优化和生态系统资源规划。论文展示了ModelingAgent显著优于基线模型，并在某些情况下与人类专家表现相当。此外，作者还开发了开源代码和数据集，为未来研究提供了基础。值得进一步探索的方向包括扩展ModelingBench至更多领域、改进ModelingAgent的泛化能力，以及增强ModelingJudge的自动化程度。

近期相关研究包括：1) MathQA等专注于数学问题求解的基准；2) GPT-4相关的研究，展示其在科学和工程任务中的潜力；3) Chain-of-Thought prompting技术，提升LLM解决复杂问题的能力。类似的研究还有《Evaluating Large Language Models Trained on Code》和《Leveraging Pre-trained Models for Scientific Discovery》。