FutureX: An Advanced Live Benchmark for LLM Agents in Future Prediction

未来预测对于大语言模型（LLM）代理而言是一项复杂的任务，需要高水平的分析思维、信息收集、情境理解以及在不确定性下的决策能力。代理不仅需要获取并解读大量动态信息，还需整合多种数据来源、权衡不确定性，并根据新出现的趋势调整预测，这一点与人类专家在政治、经济和金融等领域的做法相似。尽管未来预测至关重要，但目前尚无大规模的基准测试可用于评估代理在这项任务上的表现，这主要是由于在处理实时更新和获取及时、准确答案方面存在挑战。为了解决这一问题，我们推出了 $\textbf{FutureX}$，这是一个专为 LLM 代理执行未来预测任务而设计的动态、实时评估基准。FutureX 是目前最大、最多样化的未来预测实时基准测试平台，支持每日实时更新，并通过自动化的问题收集与答案获取流程，避免数据污染。我们对 25 种 LLM/代理模型进行了评估，包括具备推理能力、搜索功能以及集成了外部工具（如开源的 Deep Research Agent 和闭源的 Deep Research 模型）的模型。此次全面评估考察了代理在动态环境中的适应性推理能力和整体表现。此外，我们还深入分析了代理在面向未来任务中的失败模式和性能瓶颈，包括其对虚假网页的易受攻击性和时间有效性问题。我们的目标是建立一个动态、无数据污染的评估标准，推动 LLM 代理的发展，使其在复杂推理和预测思维方面达到专业人类分析师的水平。

论文试图解决未来预测任务中缺乏大规模、动态、无数据污染的评估基准的问题。当前，在政治、经济、金融等领域，LLM代理在进行未来预测时面临信息动态更新、实时性要求高和数据污染等挑战，缺乏一个统一的评估标准，这使得模型的预测能力难以被系统评估和比较。这是一个新问题，因为现有的基准通常静态且无法反映现实世界动态变化的特性。

论文提出FutureX，一个动态、实时更新、无数据污染的评估基准，用于测试LLM代理在复杂未来预测任务中的表现。其核心创新在于构建了一个自动化的数据收集和答案验证流程，支持每日实时更新问题与答案，从而避免数据泄露和污染。相比现有研究，FutureX首次在如此大规模和多样化的未来预测任务上提供实时动态评估标准。

1. FutureX是目前最大、最多样的未来预测任务评估基准，涵盖政治、经济、金融等多个领域。 2. 支持每日实时更新，确保问题与答案的时间有效性，避免数据污染。 3. 对25种LLM/agent模型进行了全面评估，包括具有推理能力、搜索能力以及集成外部工具的模型。 4. 分析了模型在面对虚假网页、时间有效性等问题时的失败模式，提供了深入的性能分析。 5. 实验设计严谨，强调模型在动态环境下的适应能力，未来可扩展至更多领域和模型优化方向。

1. Time Machine: Temporal Knowledge Reasoning for LLMs 2. Real-Time Question Answering: A Temporal Evaluation Benchmark 3. DynamicQA: A Benchmark for Continuous Learning in Question Answering Systems 4. Forecasting the Future: A Temporal Knowledge Graph Based Approach 5. LiveQA: A Real-Time Question Answering Dataset for Measuring Model Adaptability