3D Building Generation in Minecraft via Large Language Models

最近，程序化内容生成在2D游戏关卡生成领域（如《超级马里奥兄弟》和《推箱子》）中取得了相当大的进展，通过大型语言模型（LLMs）。为了进一步验证LLMs的能力，本文探讨了LLMs如何为沙盒游戏Minecraft中的3D建筑生成做出贡献。我们提出了一个名为“Text to Building in Minecraft（T2BM）”模型，它涉及到完善提示，解码中间层表示和修复。在生成中支持生成外立面、室内场景和功能块（如门）。进行实验以评估通过LLMs生成的建筑的完整性和满意度。结果表明，LLMs在3D建筑生成方面具有重要潜力。在给定适当的提示的情况下，LLMs可以生成Minecraft中正确的建筑，具有完整的结构，并结合特定的建筑块，如窗户和床，满足人类用户的特定要求。

本论文旨在探索使用大型语言模型（LLMs）生成三维建筑物的能力，并提出了一种针对Minecraft游戏的文本到建筑物生成（T2BM）模型，以解决三维建筑物生成的问题。

该论文提出了一种新的方法，即使用大型语言模型生成三维建筑物，并在Minecraft游戏中进行实验验证。该模型包括三个关键步骤：细化提示、解码层间表示和修复。

该论文的亮点包括：在Minecraft游戏中生成三维建筑物；使用大型语言模型生成建筑物的能力；实现了门、窗户、床等功能块的生成；通过实验验证了该模型的有效性。

在最近的相关研究中，也有一些关于使用人工智能生成三维建筑物的论文，例如：《A Generative Model for Building Layouts in Minecraft》和《DeepMimic: Example-Guided Deep Reinforcement Learning of Physics-Based Character Skills》。