Diffusion Models Are Real-Time Game Engines

Dani Valevski ,
Yaniv Leviathan ,
Moab Arar ,
Shlomi Fruchter
6447
热度
2024年08月27日
  • 简介
    我们介绍了GameNGen,这是第一个完全由神经模型驱动的游戏引擎,可实现高质量的长时间轨迹复杂环境的实时交互。GameNGen可以在单个TPU上以每秒20多帧的速度交互式地模拟经典游戏DOOM。下一帧预测的峰值信噪比为29.4,可与有损JPEG压缩相媲美。人类评分者在区分游戏短片和模拟短片方面仅略好于随机猜测。GameNGen分两个阶段进行训练:(1)强化学习代理学习游戏并记录训练会话,(2)扩散模型在过去的帧和动作序列的条件下进行训练以生成下一帧。条件增强使得长时间轨迹上的稳定自回归生成成为可能。
  • 图表
  • 解决问题
    论文旨在解决如何使用神经模型实现实时交互式游戏引擎的问题,以及如何通过条件生成模型模拟经典游戏DOOM。
  • 关键思路
    论文提出了一种两阶段训练的方法,第一阶段使用强化学习代理程序学习游戏,第二阶段使用扩散模型生成下一帧图像,条件是过去的帧和行动序列。
  • 其它亮点
    该游戏引擎是第一个完全由神经模型驱动的游戏引擎,能够以高质量进行实时交互式模拟。实验结果表明,该游戏引擎可以在单个TPU上以每秒20帧的速度交互式模拟DOOM游戏,并且下一帧预测的PSNR达到29.4,与有损JPEG压缩相当。此外,该游戏引擎使用条件增强实现了稳定的自回归生成。
  • 相关研究
    最近在这个领域中,也有其他研究尝试使用神经模型实现游戏引擎,例如使用深度学习实现游戏AI和使用图像生成模型生成游戏场景。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论