WorldGPT: Empowering LLM as Multimodal World Model

世界模型正在逐步应用于各个领域，从基本的环境模拟到复杂的场景构建。然而，现有的模型主要是在特定领域的状态和行动上进行训练，并且局限于单模态状态表示。在本文中，我们介绍了WorldGPT，这是一个建立在Multimodal Large Language Model (MLLM)基础上的通用世界模型。WorldGPT通过分析各个领域的数百万个视频来获得对世界动态的理解。为了进一步增强WorldGPT在专业场景和长期任务中的能力，我们将其与一种新颖的认知架构相结合，该架构结合了记忆卸载、知识检索和上下文反思。至于评估，我们构建了WorldNet，这是一个包含各种真实场景的多模态状态转换预测基准。在WorldNet上进行评估直接展示了WorldGPT准确建模状态转换模式的能力，证实了其在理解和预测复杂场景动态方面的有效性。我们进一步探索了WorldGPT作为世界模拟器的新兴潜力，通过高效地合成多模态指令实例，帮助多模态代理在陌生领域中进行泛化，这些指令实例被证明与真实数据一样可靠，可用于微调。该项目可在\url{https://github.com/DCDmllm/WorldGPT}上获得。

本论文旨在提出一种通用的世界模型，以解决现有模型局限于特定领域状态和单模态状态表示的问题。

论文提出了WorldGPT，一种基于Multimodal Large Language Model（MLLM）构建的通用世界模型。WorldGPT通过分析各个领域的数百万个视频来获得对世界动态的理解。为了进一步增强WorldGPT在专业场景和长期任务中的能力，论文还将其与一种新颖的认知架构相结合，该架构结合了记忆卸载、知识检索和上下文反思。

论文还构建了一个名为WorldNet的多模态状态转换预测基准，涵盖了各种真实场景。通过在WorldNet上进行评估，论文直接证明了WorldGPT准确建模状态转换模式的能力，证实了其在理解和预测复杂场景动态方面的有效性。此外，论文还探讨了WorldGPT作为世界模拟器的潜力，通过高效合成多模态指令实例来帮助多模态代理在陌生领域中进行泛化。

最近在这个领域中，还有一些相关研究，例如《A Survey of World Models》、《Learning to Simulate Dynamic Environments with GameGAN》等。