Steerable Scene Generation with Post Training and Inference-Time Search

在仿真环境中训练机器人需要多样化的3D场景，这些场景应反映下游任务的具体挑战。然而，满足严格任务需求的场景（例如具有合理空间布局的高度杂乱环境）极为稀少，并且手动构建这些场景成本高昂。因此，我们通过过程化模型生成大规模场景数据，这些模型能够近似真实的机器人操作环境，并根据具体任务目标进行调整。我们通过训练一个统一的基于扩散模型的生成模型来实现这一点，该模型可以从固定的资产库中预测放置哪些对象以及它们的SE(3)姿态。此模型作为一个灵活的场景先验，可以通过基于强化学习的后训练、条件生成或推理时搜索进行适应，即使下游目标与原始数据分布不同，也能引导生成过程朝向目标方向发展。我们的方法支持以目标为导向的场景合成，同时尊重物理可行性，并能扩展到各种场景类型。我们还提出了一种针对扩散模型的新型基于蒙特卡洛树搜索（MCTS）的推理时搜索策略，通过投影和模拟来确保可行性，并发布了一个包含超过4400万个SE(3)场景的数据集，涵盖五种多样化的环境。项目网站（包含视频、代码、数据和模型权重）：https://steerable-scene-generation.github.io/

论文试图解决机器人训练中高质量3D场景数据稀缺的问题，特别是针对高杂乱且空间布局合理的环境。这类场景对于下游任务至关重要，但手动创建成本高昂且效率低下。

论文提出了一种基于扩散模型的统一生成框架，用于预测从固定资产库中选择哪些对象及其SE(3)姿态，从而生成大规模物理可行的3D场景。通过强化学习后训练、条件生成或推理时搜索等方法，该模型可以适应特定任务目标，即使这些目标与原始数据分布不同。

1. 提出了基于蒙特卡洛树搜索（MCTS）的扩散模型推理时间搜索策略，以优化生成场景的质量。 2. 引入了4400多万个SE(3)场景的大规模数据集，涵盖五种多样化的环境类型。 3. 提供了物理可行性检查机制，通过投影和模拟确保生成场景的真实性。 4. 开源了代码、数据及模型权重，便于社区复现和进一步研究。 5. 目标导向的场景合成方法具有广泛的适用性，可扩展到多种场景类型。

近期相关研究包括： 1. "Learning Dexterity: Manipulation in Clutter via Simulation and Domain Randomization"，探讨了通过仿真和领域随机化生成复杂场景的方法。 2. "Procedural Generation of Indoor Scenes with Differentiable Physics"，利用可微物理引擎生成室内场景。 3. "Diffusion Models for Scene Synthesis with Physical Constraints"，研究了扩散模型在物理约束下的场景生成能力。 4. "Reinforcement Learning for Procedural Content Generation in Robotics"，探索强化学习在机器人内容生成中的应用。 这些工作共同推动了自动化场景生成技术的发展，为机器人训练提供了更多可能性。