微软｜通过大模型一步步创建虚拟世界

题目：Steps towards prompt-based creation of virtual worlds

地址：https://arxiv.org/abs/2211.05875

作者：Jasmine Roberts，Andrzej Banburski-Fahey，Jaron Lanier

Jasmine Roberts 微软研究院研究员，专注VR中的多模态交互和 LLM。她曾在PlayStation负责PlayStation VR，在Unity负责Unity MARS，并在谷歌负责ARCore，是最早在谷歌 Stadia 上制作游戏原型的人之一，Jasmine Roberts 于2018 年获得哈佛硕士学位，还为Black Girls Code 创建游戏课程。

简介

为代码生成训练的大型语言模型可以应用于说出虚拟世界的存在（创建虚拟世界）。 在这项工作中，我们展示了基于提示的方法既可以加速 VR 关卡编辑，也可以成为游戏玩法的一部分，而不仅仅是游戏开发的一部分。

例如，我们展示了 Codex VR Pong，它展示了使用生成过程的非确定性游戏机制，不仅可以创建静态内容，还可以创建 3D 对象之间的重要交互。 该演示自然会引发关于如何评估和基准化生成模型创建的体验的完整讨论——因为在这些场景中没有适用的定性或定量指标。 最后，我们讨论了 VR 中 AI 辅助共同创造的迫在眉睫的挑战。

内容中包含的图片若涉及版权问题，请及时与我们联系删除