DreamCraft: Text-Guided Generation of Functional 3D Environments in Minecraft

本文介绍了一种在开放世界游戏Minecraft中从自由形式文本提示生成功能性三维物品的方法，名为DreamCraft。传统的程序化内容生成(PCG)算法可以自动生成复杂和多样化的艺术品，但是它们不能提供对生成内容的高级控制，通常需要领域专业知识。相比之下，文本到三维的方法允许用户用自然语言指定所需的特征，提供了高度的灵活性和表达性。但是与PCG不同的是，这种方法无法保证功能性，这在某些应用程序（如游戏设计）中至关重要。本文提出了一种方法，可以从自由形式的文本提示中生成功能性的三维物品。该方法使用量化的神经辐射场(NeRFs)来表示物品，以使其在游戏中查看时与给定的文本描述相匹配。我们发现，与基线方法相比，DreamCraft生成的游戏内物品更加对齐，基线方法是对无限制的NeRF输出进行后处理。由于环境的量化表示，可以使用专门的损失项集成功能性约束。我们展示了如何利用这一点来生成符合目标分布或遵守块类型上的某些邻接规则的3D结构。DreamCraft从NeRF继承了高度的表达能力和可控性，同时仍能通过特定于领域的目标来整合功能性约束。

本文旨在解决Procedural Content Generation（PCG）算法无法提供高级控制和保证功能的问题，以及text-to-3D方法无法保证功能的问题。同时，本文试图在Minecraft游戏中生成功能性的3D物品。

本文提出了一种名为DreamCraft的方法，该方法使用Quantized Neural Radiance Fields（NeRFs）来训练生成3D物品，并且可以加入特定领域的约束条件来保证生成的物品的功能性。

本文使用DreamCraft方法生成的3D物品比基线方法更加符合预期，同时DreamCraft方法可以加入特定领域的约束条件来保证生成的物品的功能性。实验使用了Minecraft游戏，并且在开源代码的基础上进行了改进。

与本文相关的研究包括使用PCG算法生成游戏内容的研究，以及使用text-to-3D方法生成3D物品的研究。