Human-Aware 3D Scene Generation with Spatially-constrained Diffusion Models

生成人体运动序列的3D场景支持许多应用，包括虚拟现实和建筑设计。然而，以前基于自回归的人体感知3D场景生成方法一直难以准确捕捉多个对象和输入人体的联合分布，往往导致在同一空间中生成重叠的对象。为了解决这个限制，我们探索了扩散模型的潜力，同时考虑所有输入人体和楼层平面图，以生成合理的3D场景。我们的方法不仅满足所有输入人体的交互，而且遵守楼层平面图的空间约束。此外，我们引入了两个空间碰撞指导机制：人体-物体碰撞避免和物体-房间边界约束。这些机制有助于避免生成与人体运动冲突的场景，同时尊重布局约束。为了增强人体引导场景生成的多样性和准确性，我们开发了一个自动化流水线，改进了现有3D FRONT HUMAN数据集中人体-物体交互的多样性和合理性。在合成和真实数据集上进行的广泛实验表明，与先前最先进的方法相比，我们的框架可以生成更自然、更合理的3D场景，同时显著减少了人体-物体碰撞。我们的代码和数据将在本文发表后公开发布。

本论文旨在解决先前基于自回归的人类感知三维场景生成方法无法精确捕捉多个对象和输入人类的联合分布的问题，以及在同一空间中重叠对象生成的问题。

本论文提出了一种采用扩散模型的方法，同时考虑所有输入人类和平面图来生成合理的三维场景。此外，引入了两种空间碰撞指导机制：人-物体碰撞避免和物体-房间边界约束，以避免生成与人类动作冲突的场景。

本论文还开发了自动化流程，以提高现有3D FRONT HUMAN数据集中人-物体交互的多样性和可信度。在合成和真实数据集上的实验表明，相比于先前的最先进方法，本框架可以生成更自然、更合理的三维场景，并显著减少人-物体碰撞。

与本论文相关的研究包括：基于深度学习的三维场景生成方法，如3D-GAN和3D-VAE；基于自回归的三维场景生成方法，如SceneGAN和3D-R2N2。