TreeSBA: Tree-Transformer for Self-Supervised Sequential Brick Assembly

本文提出了一种计算效率高的广度优先搜索（BFS）LEGO-Tree结构，以模拟考虑相邻层之间连接的顺序组装操作，以及一种类无关的树形转换器框架，以从输入的多视图图像中预测顺序组装操作。该模型首先在具有可用操作标签的合成数据上进行完全监督的预训练，然后通过提出一种将操作标签替换为输入图像剪影的操作到剪影的投影来绕过实际数据中对操作标签的要求，以实现自我监督。在没有实际数据注释的情况下，我们的模型在MNIST和ModelNet Construction数据集上的mIoU分别比具有3D监督的现有方法提高了7.8％和11.3％。顺序积木组装任务的主要挑战是实际中获取逐步操作标签的成本高昂且繁琐。

本文试图解决从图像中推断逐步动作以组装3D物体的问题，该问题由于复杂的约束和可能的组合数量而具有挑战性。

本文提出了一种基于BFS LEGO-Tree结构的计算效率高的类不可知树变换器框架，以预测从多视图图像中的逐步组装操作。

本文的亮点包括使用合成数据进行预训练以进行真实数据的自我监督，使用动作到轮廓的投影进行无监督学习，以及在MNIST和ModelNet Construction数据集上超越了现有方法。

相关研究包括使用LEGO-Graph建模的类特定方法，以及其他方法使用3D注释来预测逐步操作。