DrSR: LLM based Scientific Equation Discovery with Dual Reasoning from Data and Experience

符号回归是一种从数据中发现可解释数学表达式的基本工具，在科学和工程领域有着广泛的应用。近期，大型语言模型（LLMs）在这一任务上展现了强大的性能，通过利用嵌入的科学先验知识和推理能力超越了传统方法。然而，现有的基于LLM的方法（如LLM-SR）往往过度依赖内部先验知识，缺乏对数据的显式理解以及生成过程中的系统性反思。为了解决这些局限性，我们提出了DrSR（双重推理符号回归），这是一个结合数据驱动洞见与反思学习的框架，旨在提升模型的鲁棒性和发现能力。具体而言，DrSR引导LLMs分析数据中的结构化关系（例如单调性、非线性和相关性），以生成结构化的描述。同时，它监控方程的表现并建立反馈循环以优化后续生成。通过将数据理解和生成反思整合到闭环中，DrSR实现了对符号表达空间更高效的探索。跨物理学、化学、生物学和材料科学等多个学科的数据集实验表明，DrSR显著提高了有效方程的比例，并在准确性、泛化能力和搜索效率方面一致优于经典方法和最新的LLM-based方法。这些结果凸显了DrSR在科学方程发现中的潜力。

该论文试图解决通过数据发现可解释数学表达式的问题，即符号回归问题。这是一个经典问题，但现有基于大语言模型（LLM）的方法在生成方程时过度依赖内部先验知识，缺乏对数据结构的显式理解和系统反思。

论文提出了一种名为DrSR（Dual Reasoning Symbolic Regression）的新框架，结合了数据驱动的洞察与反思学习。其关键创新在于：1) 引导LLM分析数据中的结构化关系（如单调性、非线性和相关性），以生成更精确的描述；2) 建立反馈循环，监控方程性能并优化后续生成过程。这种方法通过闭环机制提高了符号表达式的探索效率。

1) DrSR显著提升了有效方程的生成率，并在跨学科数据集（包括物理、化学、生物和材料科学领域）中表现出更高的准确性和泛化能力；2) 实验设计全面，涵盖了多种真实世界数据集，验证了方法的广泛适用性；3) 论文未明确提及代码开源情况，但强调了未来研究方向，例如如何进一步改进LLM对方程空间的理解和搜索效率；4) 值得深入研究的方向包括将DrSR扩展到更高维度数据以及结合深度学习技术进行联合优化。

最近的相关研究包括：1) LLM-SR，一种基于LLM的符号回归方法，主要依赖模型内部的科学先验知识；2) AI Feynman，利用神经网络和贝叶斯推理来发现物理定律；3) 神经引导符号回归（Neurosymbolic Regression），结合神经网络和符号推理以提高搜索效率；4) SRBench，一个基准平台，用于评估不同符号回归算法的表现。这些方法为DrSR提供了重要的参考和对比基础。