LiveCodeBench Pro: How Do Olympiad Medalists Judge LLMs in Competitive Programming?

近期有报告显示，大型语言模型 (LLMs) 在竞争性编程中已经超越了顶尖人类选手。基于一群国际算法竞赛奖牌得主的专业知识，我们重新审视了这一说法，探讨了大型语言模型与人类专家之间的差异，以及其仍存在的局限性。我们引入了 LiveCodeBench Pro，这是一个由 Codeforces、ICPC 和 IOI 的问题组成的基准测试集，并且会持续更新，以降低数据污染的可能性。一支由奥林匹克竞赛奖牌得主组成的团队为每个问题标注了算法类别，并对模型生成的失败提交进行了逐行分析。通过使用这一新数据和基准测试，我们发现前沿模型仍然存在显著的局限性：在没有外部工具的情况下，表现最好的模型在中等难度问题上的通过率仅为 53%，而在高难度问题上则为 0%，而这些领域仍然是人类专家的强项。我们还发现，大型语言模型在实现密集型问题上表现出色，但在需要精细算法推理和复杂案例分析的问题上则显得力不从心，常常生成自信但错误的解释。高性能的表现似乎主要得益于实现的精确性和工具增强，而非更优越的推理能力。因此，LiveCodeBench Pro 明确指出了大型语言模型与人类大师级别之间的显著差距，同时提供了细致的诊断工具，以指导未来代码为中心的 LLM 推理能力的改进方向。

论文试图验证大型语言模型（LLMs）是否能够在算法竞赛中超越顶尖人类选手。这是一个重要的研究问题，因为尽管LLMs在许多任务上表现出色，但在需要复杂逻辑推理和算法设计的领域中，它们的能力尚未完全被评估。

论文通过引入LiveCodeBench Pro这一动态更新的基准测试平台，对LLMs在不同难度编程问题上的表现进行了系统性分析。与现有研究相比，该论文不仅关注模型的最终结果，还深入剖析了模型失败案例中的具体错误模式，揭示了LLMs在复杂算法推理方面的局限性。

1. LiveCodeBench Pro是一个持续更新的基准测试集，涵盖来自Codeforces、ICPC和IOI的真实问题，有效减少了数据泄露的风险；2. 论文由国际算法竞赛奖牌得主团队参与标注和分析，确保了问题分类和错误诊断的专业性；3. 实验结果显示，即使是最先进的LLMs，在困难问题上的表现仍然远逊于人类专家；4. 数据和代码已开源，为后续研究提供了宝贵的资源；5. 提出了未来改进LLMs算法推理能力的具体方向。

最近的相关研究包括：1. 'Evaluating Large Language Models on Competitive Programming'，探讨了LLMs在编程竞赛中的初步表现；2. 'CodeXpert: A Benchmark for Code Understanding and Generation'，提出了一种针对代码理解与生成的新基准；3. 'AlphaCoder: Mastering Code through Self-Play Reinforcement Learning'，尝试结合强化学习提升模型的算法推理能力；4. 'Algorithmic Reasoning in Transformers'，研究了Transformer架构在算法推理任务中的潜力。