PlankAssembly: Robust 3D Reconstruction from Three Orthographic Views with Learnt Shape Programs

解决问题：本文旨在解决从三个正交视图的2D线条图自动转换为3D CAD模型的问题。现有的方法通过将2D观测结果向后投影到3D空间中来重建3D模型，同时保持输入和输出之间的显式对应关系。然而，这种方法对输入中的错误和噪声非常敏感，因此在实践中往往会失败。本文旨在通过利用Transformer-based序列生成模型中的注意机制来学习输入和输出之间的灵活映射，从而克服这种困难。

关键思路：本文的关键思路是使用Transformer-based序列生成模型和设计适合于生成所需对象的形状程序来提高重建精度和促进CAD建模应用。相比当前领域的研究状况，本文的思路在使用形状程序方面有所创新。

其他亮点：本文的实验设计使用了一个新的基准数据集，并表明当输入存在噪声或不完整时，本方法显著优于现有方法。本文未提到是否有开源代码。

关于作者：本文的主要作者是Wentao Hu、Jia Zheng、Zixin Zhang、Xiaojun Yuan、Jian Yin和Zihan Zhou。他们分别来自中国科学技术大学、南京大学和清华大学。他们之前的代表作包括：《Learning Implicit Fields for Generative Shape Modeling》、《Deep Geometric Functional Maps: Robust Feature Learning for Shape Correspondence》等。

相关研究：近期其他相关的研究包括：《OrthoGAN: Few-Shot Learning for 3D Line Drawings via Orthographic Generative Adversarial Networks》（作者：Xiaogang Wang、Xiaowei Zhou、Yue Gao、Yu-Kun Lai，机构：香港中文大学）、《P2P-NET: Bidirectional Point Displacement Net for Shape Transform》（作者：Jianwen Xie、Yanwei Fu、Yi Yang，机构：南京大学）等。

论文摘要：本文提出了一种新的方法，可以自动将来自三个正交视图的2D线条图转换为3D CAD模型。现有的方法通过将2D观测反投影到3D空间中来重建3D模型，同时保持输入和输出之间的显式对应关系。这种方法对输入中的错误和噪声非常敏感，因此在实践中常常失败，特别是当由人类设计师创建的输入图纸不完美时。为了克服这个难题，我们利用了Transformer-based序列生成模型中的注意力机制，学习输入和输出之间的灵活映射。此外，我们设计了适用于生成感兴趣对象的形状程序，以提高重建精度并促进CAD建模应用。在一个新的基准数据集上的实验证明，当输入嘈杂或不完整时，我们的方法明显优于现有方法。

内容中包含的图片若涉及版权问题，请及时与我们联系删除