No LLM Solved Yu Tsumura's 554th Problem

我们指出，与近期大型语言模型（LLM）在问题求解方面取得优异成绩所引发的乐观情绪相反，确实存在一个问题——玉Sumura的第554题——它具备以下特点：a）在证明的复杂程度上属于国际数学奥林匹克（IMO）问题的范畴；b）它不是那种曾给LLM带来困难的组合数学问题；c）相比典型的高难度IMO问题，它所需的证明技巧更少；d）该问题的解答是公开可获得的（很可能已包含在LLM的训练数据中）；e）然而，现有的任何现成的LLM（无论是商业还是开源）都无法轻松解决这个问题。

论文试图验证一个假设：尽管大型语言模型（LLM）在问题解决能力方面受到广泛关注和乐观预期，但仍然存在一些在国际数学奥林匹克（IMO）范围内的问题无法被现有LLM有效解决。这个问题挑战了当前对LLM能力的普遍乐观看法，并且是一个相对较新的研究方向。

论文的关键思路是选取一个具体数学问题（Yu Tsumura的第554题），该问题具有IMO级别的证明复杂度，但不属于组合数学类别（LLM在此类问题上表现不佳），所需证明技巧较少，并且其解决方案公开可用。通过测试多个现有LLM，论文展示了即使这些问题的解答在训练数据中存在，LLM也无法有效解决它们。

1. 选择的问题具备明确的数学复杂性和可验证性，适合作为LLM能力的测试基准。 2. 论文通过实验验证了多个主流LLM（包括商业和开源模型）在解决该问题上的失败。 3. 问题的解决方案公开且可能存在于训练数据中，因此实验设计排除了训练数据不足的解释。 4. 论文为LLM在数学推理方面的局限性提供了具体且有说服力的证据，值得进一步研究其根本原因。 5. 未来工作可以探索如何改进LLM的数学推理能力，或设计专门的提示策略来解决此类问题。

1. DeepMind的AlphaGo和AlphaZero在游戏推理方面的突破，启发了AI在结构化问题中的应用。 2. 近期关于LLM在数学问题解决中的表现研究，如《Measuring Mathematical Problem-Solving Ability in Large Language Models》。 3. 国际数学奥林匹克问题的自动解答研究，如使用Lean或Isabelle等形式化证明工具。 4. 关于LLM在组合数学问题中表现不佳的研究，如《Limitations of Large Language Models in Mathematics: The Case of Combinatorics》。 5. GPT-4和PaLM等模型在逻辑推理任务中的评估研究，如《Language Models Are Few-Shot Learners》。