SPAFormer: Sequential 3D Part Assembly with Transformers

我们介绍了SPAFormer，这是一个创新的模型，旨在克服3D部件装配（3D-PA）任务中的组合爆炸挑战。该任务需要准确预测每个部件在顺序步骤中的姿态和形状，随着部件数量的增加，可能的组装组合呈指数增长，导致组合爆炸，严重阻碍了3D-PA的有效性。SPAFormer通过利用装配序列的弱约束来解决这个问题，有效地降低了解决方案空间的复杂性。由于装配部件序列传达了类似于通过单词构造的句子的构造规则，因此我们的模型探索了并行和自回归生成。它通过利用部件的属性和它们的序列信息来增强装配，从而捕捉顺序排列的部件之间的固有装配模式和关系。我们还构建了一个更具挑战性的基准测试，名为PartNet-Assembly，涵盖21个不同的类别，以更全面地验证SPAFormer的有效性。广泛的实验表明，SPAFormer具有出色的泛化能力，特别是在需要长时程装配的多任务和场景中。代码和模型权重将在\url{https://github.com/xuboshen/SPAFormer}上发布。

本文旨在解决3D零件组装任务中的组合爆炸问题，即随着部件数量的增加，可能的组装组合呈指数级增长，严重影响了3D-PA的有效性。

本文提出了SPAFormer模型，通过利用装配序列的弱约束，有效降低了解决方案空间的复杂度。该模型通过并行和自回归生成，进一步增强了装配，并利用部件的属性和序列信息进行知识增强策略，使其能够捕捉顺序排列部件之间的内在组装模式和关系。

本文构建了一个更具挑战性的基准测试PartNet-Assembly，涵盖21个不同的类别，以更全面地验证SPAFormer的有效性。实验结果表明，SPAFormer具有优越的泛化能力，特别是在需要长期装配的多任务场景中。作者还在github上公开了代码和模型权重。

在这个领域中，最近的相关研究包括：'Learning to Assemble: A Study on Dataset Design and Learning Algorithm for Object Assembly'，'Learning to Assemble and to Generalize from Assembly'等。