Diffusion Models Are Real-Time Game Engines

我们介绍了GameNGen，这是第一个完全由神经模型驱动的游戏引擎，可实现高质量的长时间轨迹复杂环境的实时交互。GameNGen可以在单个TPU上以每秒20多帧的速度交互式地模拟经典游戏DOOM。下一帧预测的峰值信噪比为29.4，可与有损JPEG压缩相媲美。人类评分者在区分游戏短片和模拟短片方面仅略好于随机猜测。GameNGen分两个阶段进行训练：(1)强化学习代理学习游戏并记录训练会话，(2)扩散模型在过去的帧和动作序列的条件下进行训练以生成下一帧。条件增强使得长时间轨迹上的稳定自回归生成成为可能。

论文旨在解决如何使用神经模型实现实时交互式游戏引擎的问题，以及如何通过条件生成模型模拟经典游戏DOOM。

论文提出了一种两阶段训练的方法，第一阶段使用强化学习代理程序学习游戏，第二阶段使用扩散模型生成下一帧图像，条件是过去的帧和行动序列。

该游戏引擎是第一个完全由神经模型驱动的游戏引擎，能够以高质量进行实时交互式模拟。实验结果表明，该游戏引擎可以在单个TPU上以每秒20帧的速度交互式模拟DOOM游戏，并且下一帧预测的PSNR达到29.4，与有损JPEG压缩相当。此外，该游戏引擎使用条件增强实现了稳定的自回归生成。

最近在这个领域中，也有其他研究尝试使用神经模型实现游戏引擎，例如使用深度学习实现游戏AI和使用图像生成模型生成游戏场景。