OpenECAD: An Efficient Visual Language Model for Computer-Aided Design

计算机辅助设计（CAD）工具被用于制造业，可以建模从杯子到航天器的所有物品。这些程序使用复杂，通常需要多年的培训和经验才能掌握。结构化和良好约束的2D草图和3D构造是CAD建模的关键组成部分。一个良好执行的CAD模型可以无缝集成到制造流程中，从而提高生产效率。3D形状的深度生成模型和3D物体重建模型已经引起了广泛的研究兴趣。然而，大多数这些模型是以离散形式表示的。此外，基于CAD操作的少数模型通常具有实质性的输入限制。在这项工作中，我们微调了预训练模型，创建了OpenECAD（0.55B、0.89B、2.4B、3.2B和4.2B），利用视觉语言模型的视觉、逻辑、编码和通用能力。OpenECAD可以处理3D设计图像作为输入，并生成高度结构化的2D草图和3D构造命令。这些输出可以直接与现有CAD工具的API一起使用，以生成项目文件。为了训练我们的网络，我们创建了一个新的CAD数据集。这个数据集基于现有的公共CAD数据集，通过调整和增强来满足VLM训练的要求。

如何使用深度学习模型生成高度结构化的2D和3D CAD设计指令？

使用预训练模型fine-tune来创建OpenECAD，利用视觉语言模型的视觉、逻辑、编码和通用能力，将3D设计图像转换为高度结构化的2D草图和3D构造指令，以提高生产效率。

使用新的CAD数据集训练网络，实现了高度结构化的CAD设计指令生成。研究结果表明，与现有的CAD操作模型相比，OpenECAD具有更广泛的输入限制。

最近的相关研究包括使用深度生成模型生成3D形状和重建3D对象的模型。