"Set It Up!": Functional Object Arrangement with Compositional Generative Models

本文研究了开发能够理解不明确指令以创建功能性物体布置的机器人的挑战，例如“为两人设置餐桌”；以前的布置方法更注重更明确的指令，例如“将物体A放在桌子上”。我们引入了一个名为SetItUp的框架，用于学习解释不明确的指令。SetItUp利用少量的训练示例和人工编写的程序草图来揭示特定场景类型的布置规则。通过利用对象之间的抽象空间关系的中间图形表示，SetItUp将布置问题分解为两个子问题：i）从有限的数据中学习布置模式和ii）将这些抽象关系与对象姿势联系起来。SetItUp利用大型语言模型（LLM）来提出新场景中对象之间的抽象空间关系作为要满足的约束条件；然后，它组成与这些抽象关系相关联的扩散模型库，以找到满足约束条件的对象姿势。我们在包括学习桌、餐桌和咖啡桌的数据集上验证了我们的框架，结果显示与现有模型相比，在生成物理上合理、功能性和美观的物体布置方面具有优越性。

本论文研究如何让机器人理解不太明确的指令，例如“为两个人设置餐桌”，并根据这些指令创建功能性物体排列。这是一个新问题。

论文提出了一个名为SetItUp的框架，通过利用中间的图形表示来将排列问题分解为两个子问题：从有限数据中学习排列模式和将这些抽象关系落实到物体姿势。SetItUp使用大型语言模型来提出抽象空间关系，并利用扩散模型库来找到满足约束条件的物体姿势。

论文在一个包含学习桌、餐桌和咖啡桌的数据集上验证了框架的有效性。结果表明，与现有模型相比，SetItUp可以生成更具物理可行性、功能性和美观性的物体排列。此外，论文开源了代码和数据集。

最近的相关研究包括利用深度学习模型来生成物体排列，例如Neural-Scene-Flow和SceneFormer。