LLplace: The 3D Indoor Scene Layout Generation and Editing via Large Language Model

设计3D室内布局是一项至关重要的任务，具有重要的虚拟现实、室内设计和自动空间规划应用。现有的3D布局设计方法要么依赖于扩散模型，这些模型利用空间关系先验，要么大量利用专有的大型语言模型（LLMs）的推理能力，这需要通过黑匣子试验进行广泛的提示工程和上下文示例。这些方法通常在泛化和动态场景编辑方面存在局限性。在本文中，我们介绍了LLplace，一种基于轻量级微调开源LLM Llama3的新型3D室内场景布局设计器。LLplace绕过了空间关系先验和上下文示例的需求，仅基于用户输入指定的房间类型和所需对象，实现了高效、可信的房间布局生成。我们基于3D-Front数据集策划了一个新的对话数据集，扩大了原始数据量，并结合对话数据添加和删除对象。这个数据集可以增强LLM的空间理解能力。此外，通过对话，LLplace激活了LLM的理解3D布局和执行动态场景编辑的能力，实现了添加和删除对象。我们的方法表明，LLplace可以有效地交互式生成和编辑3D室内布局，并在提供高质量的3D设计解决方案方面优于现有方法。代码和数据集将会发布。

解决问题：本文旨在介绍一种基于轻量级微调开源LLM Llama3的3D室内场景布局设计器LLplace，通过用户输入房间类型和所需物品，实现高效可靠的房间布局生成，同时也能进行动态场景编辑。

关键思路：LLplace通过对3D-Front数据集的对话数据进行扩充，利用LLM的空间理解能力，实现动态场景编辑和物品的添加和删除，从而提供高质量的3D设计解决方案，避免了空间关系先验和上下文示例的需求。

其他亮点：本文通过对话数据扩充了3D-Front数据集，提高了LLM的空间理解能力；实现了动态场景编辑和物品的添加和删除；在设计实验中，LLplace表现出了高效和可靠的房间布局生成能力，优于现有方法；同时，本文还将代码和数据集公开。

相关研究：最近在这个领域中，一些相关研究包括Diffusion Models和基于LLM的方法，但这些方法在泛化和动态场景编辑方面存在一些局限性。