Real2Code: Reconstruct Articulated Objects via Code Generation

我们提出了Real2Code，一种通过代码生成来重建关节式物体的新方法。给定一个物体的视觉观察，我们首先使用图像分割模型和形状完成模型重建其部分几何形状。然后，我们使用定向边界框表示物体部件，并将其输入到经过微调的大型语言模型（LLM）中，以预测关节运动的代码。通过利用预训练的视觉和语言模型，我们的方法可以优雅地扩展到关节式部件的数量，并且可以从合成训练数据推广到非结构化环境中的实际物体。实验结果表明，Real2Code在重建精度方面显著优于先前的最先进技术，并且是第一个能够推广到训练集中的物体结构复杂度以外，并重建具有多达10个关节式部件的物体的方法。当与立体重建模型结合使用时，Real2Code还可以推广到从少量多视角RGB图像中重建实际物体，而无需深度或相机信息。

Real2Code试图通过代码生成的方式重建关节式物体，解决视觉重建中的关节建模问题。这是否是一个新问题？

Real2Code将物体部件的几何形状表示为有向边界框，并利用预训练的视觉和语言模型，通过输入边界框来预测联合关节运动的代码。相比现有的研究，Real2Code的关键思路是将物体部件表示为有向边界框，并使用大型语言模型进行关节建模。

实验结果表明，Real2Code在重建精度上显著优于现有的最先进技术，并且是第一个能够超越训练集中的物体结构复杂性，并重建具有多达10个关节部分的物体的方法。此外，Real2Code还可以与立体重建模型结合使用，从少量多视角RGB图像中推广到真实世界物体，而无需深度或相机信息。

最近的相关研究包括：'3D-R2N2: A Unified Approach for Single and Multi-view 3D Object Reconstruction'，'Learning to Reconstruct 3D Human Pose and Shape via Model-fitting in the Loop'，'Articulated Object Reconstruction from Depth Images Using 3D Symmetry'等。