General agents need world models

世界模型是否是实现灵活、目标导向行为的必要条件，还是无模型学习就足够了？我们对这个问题给出了正式的答案，证明了任何能够泛化到多步目标导向任务的智能体，都必须已经学到了其环境的预测模型。我们还表明，这种模型可以从智能体的策略中提取出来，并且提升智能体的表现或增加它所能达成的目标复杂性，需要学习越来越精确的世界模型。这一结论带来了一系列影响：从开发安全且通用的智能体，到在复杂环境中限制智能体的能力，再到提出新的算法以从智能体中提取世界模型。

论文试图解决的问题是，灵活且目标导向的行为是否需要依赖于世界模型（world models），还是仅通过无模型（model-free）学习即可实现。这是一个基础性问题，探讨了强化学习中模型驱动与无模型方法的必要性和局限性。

论文的关键思路是证明任何能够泛化到多步目标导向任务的智能体，必须已经学习到了其环境的预测模型。这种模型可以从智能体的策略中提取，并且随着智能体性能或目标复杂度的提升，需要学习更加精确的世界模型。这为理解智能体的能力边界提供了理论依据。

论文通过严格的数学推导展示了预测模型在多步任务中的必要性，并提出了从智能体策略中提取世界模型的新方法。实验部分可能涉及模拟环境中的多步任务测试，但具体数据集未提及。此外，论文提出了一种新的视角来评估和设计更安全、更通用的人工智能系统，值得进一步研究如何将该理论应用于实际场景。目前尚不清楚是否有开源代码提供。

近年来，关于模型驱动与无模型强化学习的研究有很多，例如《Model-Based Reinforcement Learning: A Survey》综述了模型驱动方法的优势与挑战；《When to Use Model-Free vs. Model-Based Reinforcement Learning》探讨了两种方法的适用场景；另外，《PlaNet: Planning with Latent Dynamics for Efficient Exploration》展示了一种结合模型驱动与无模型的方法。这些工作都与本文形成互补或对比关系。