Solving for X and Beyond: Can Large Language Models Solve Complex Math Problems with More-Than-Two Unknowns?

大型语言模型（LLMs）在解决数学问题方面表现出了人类智能的卓越性能。然而，尽管在当前基准测试中取得了高成功率，这些测试通常只包含一个或两个未知数的简单问题，不能充分挑战它们的推理能力。本文介绍了一个新的基准测试BeyondX，旨在通过包含多个未知数的问题来解决这些限制。鉴于从头开始提出多未知数问题的挑战，我们使用创新的自动化流程开发了BeyondX，该流程通过扩展简单问题中的未知数数量逐步增加复杂性。对BeyondX的实证研究表明，即使是那些专门针对数学任务进行微调的现有LLMs，在未知数数量增加时性能也显著下降，其中GPT-4的性能下降高达70％。为了解决这些挑战，我们提出了“公式化和求解”策略，这是一种广义提示方法，可以有效处理任意数量的未知数问题。我们的研究结果表明，这种策略不仅提高了LLMs在BeyondX基准测试上的性能，还深入揭示了LLMs在面对更复杂的数学挑战时的计算限制。

论文旨在解决当前基于大型语言模型（LLMs）的数学问题解决方案仅限于简单问题的限制，提出了一个新的基准测试BeyondX，其中包括具有多个未知数的问题。

论文通过使用自动化流程逐步增加简单问题中未知数的数量来开发BeyondX基准测试，并提出了Formulate-and-Solve策略来有效地处理任意数量未知数的问题。

论文发现现有的LLMs，在未知数数量增加时性能显著下降，甚至在GPT-4中观察到了高达70％的性能下降。通过使用Formulate-and-Solve策略，LLMs在BeyondX基准测试上的性能得到提高，并提供了更深入的洞察力。

最近的相关研究包括使用LLMs解决数学问题的其他基准测试，如MAWPS和MathQA。