报告主题：大语言模型能模拟世界吗？定量分析大语言模型生成基于文本的仿真环境的能力
报告日期：7月19日（周五）10:30-11:30
报告要点：
当训练的AI模型需要在复杂环境中做出规划决策时，高精度的仿真环境可以大幅降低在真实场景中实验的需求，从而降低训练成本，提升训练效率。然而，构建此类仿真环境成本高昂，且需要大量人工投入。与此同时，当今的大语言模型（LLM）使用的庞大的预训练数据包含了各类关于现实世界的知识，并且在相关的问答、推理任务表现出色。那么，LLM能否有效、系统地利用这些知识来取代人类工程师搭建仿真环境呢？

为了回答这一问题，我们定量分析了LLM生成文字仿真环境（一类以语言文字描述环境中物体状态的仿真环境）的能力。我们构筑了包含32个文字仿真环境的数据集Bytesized32，并基于此构建了Bytesized32-State-Prediction数据集，分别考察了LLM根据文本需求描述开放性生成仿真环境、以及在已知仿真环境中预测状态变化的能力。我们的实验表明，尽管在过去的两年中，大语言模型生成仿真环境的能力得到了巨大的提升，但其生成的仿真环境的准确性仍有较大的提升空间。
报告嘉宾：
王若尧，亚利桑那大学三年级博士生，导师为Peter Jansen。本科毕业于复旦大学，在密歇根大学取得计算机硕士学位。主要研究方向为文字游戏，文本仿真环境及世界模型的生成。此外对多模态问答、地理信息推理等方向也有所涉猎。在ACL、EMNLP、EACL等会议发表第一作者论文5篇。
扫码报名

近期热门报告



内容中包含的图片若涉及版权问题，请及时与我们联系删除