Approaching Human-Level Forecasting with Language Models

预测未来事件对政策和决策制定非常重要。在这项工作中，我们研究了语言模型（LMs）是否能够在竞争性人类预测者的水平上进行预测。为了实现这个目标，我们开发了一个检索增强的LM系统，旨在自动搜索相关信息，生成预测并聚合预测。为了促进我们的研究，我们收集了来自竞争性预测平台的大量问题数据集。在我们的LMs的知识切断后发布的测试集下，我们评估了我们的系统的端到端性能与人类预测的聚合值相比。平均而言，该系统接近竞争预测者的聚合值，并在某些情况下超过它。我们的工作表明，使用LMs来预测未来可能会提供准确的预测，并帮助机构决策制定。

研究语言模型是否能够像人类预测者一样准确地预测未来事件，以便为政策和决策制定提供帮助。

开发了一种检索增强的语言模型系统，用于自动搜索相关信息、生成预测并聚合预测结果，通过大量竞争性预测平台的问题数据集进行测试，结果表明该系统的预测准确性接近或超过人类预测者的聚合结果。

论文使用了竞争性预测平台的问题数据集进行测试，开发了一种检索增强的语言模型系统，该系统的预测准确性接近或超过人类预测者的聚合结果。

最近的相关研究主要集中在使用语言模型进行预测，如《GPT-3：语言模型的新里程碑》、《BERT：预训练的深度双向Transformer模型在各种任务上的表现》等。