Approaching Human-Level Forecasting with Language Models

Danny Halawi,
Fred Zhang,
Chen Yueh-Han,
Jacob Steinhardt
2781
热度
ML
AI
NLP
IR
2024年02月28日
  • 简介
    预测未来事件对政策和决策制定非常重要。在这项工作中,我们研究了语言模型(LMs)是否能够在竞争性人类预测者的水平上进行预测。为了实现这个目标,我们开发了一个检索增强的LM系统,旨在自动搜索相关信息,生成预测并聚合预测。为了促进我们的研究,我们收集了来自竞争性预测平台的大量问题数据集。在我们的LMs的知识切断后发布的测试集下,我们评估了我们的系统的端到端性能与人类预测的聚合值相比。平均而言,该系统接近竞争预测者的聚合值,并在某些情况下超过它。我们的工作表明,使用LMs来预测未来可能会提供准确的预测,并帮助机构决策制定。
  • 图表
  • 解决问题
    研究语言模型是否能够像人类预测者一样准确地预测未来事件,以便为政策和决策制定提供帮助。
  • 关键思路
    开发了一种检索增强的语言模型系统,用于自动搜索相关信息、生成预测并聚合预测结果,通过大量竞争性预测平台的问题数据集进行测试,结果表明该系统的预测准确性接近或超过人类预测者的聚合结果。
  • 其它亮点
    论文使用了竞争性预测平台的问题数据集进行测试,开发了一种检索增强的语言模型系统,该系统的预测准确性接近或超过人类预测者的聚合结果。
  • 相关研究
    最近的相关研究主要集中在使用语言模型进行预测,如《GPT-3:语言模型的新里程碑》、《BERT:预训练的深度双向Transformer模型在各种任务上的表现》等。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论