Text-to-CAD Generation Through Infusing Visual Feedback in Large Language Models

创建计算机辅助设计（CAD）模型需要大量的专业知识和努力。文本到CAD的技术，即将文本描述转换为CAD参数序列，对于简化这一过程至关重要。最近的研究利用了真实的参数序列，这些序列被称为顺序信号，作为监督来实现这一目标。然而，CAD模型本质上是多模态的，包含参数序列及其对应的渲染视觉对象。此外，从参数序列到视觉对象的渲染过程是多对一的关系。因此，顺序信号和视觉信号对于有效的训练都是至关重要的。 在本研究中，我们引入了CADFusion框架，该框架以大型语言模型（LLM）为核心，并交替进行两个训练阶段：顺序学习（SL）阶段和视觉反馈（VF）阶段。在SL阶段，我们使用真实参数序列来训练LLM，从而生成逻辑连贯的参数序列。在VF阶段，我们奖励那些能渲染成视觉上更优对象的参数序列，而惩罚那些不能达到此效果的序列，使LLM能够学习如何感知和评估渲染后的视觉对象。这两个阶段在整个训练过程中交替进行，确保了平衡的学习并保留了两种信号的优势。实验表明，CADFusion显著提高了性能，无论是在定性还是定量方面。

论文试图解决将文本描述转换为计算机辅助设计（CAD）模型的问题，特别是通过利用大型语言模型（LLMs）来生成逻辑连贯的参数序列，并确保这些序列能渲染成视觉上令人满意的对象。这是一个相对新颖的问题，因为传统的CAD建模需要大量的专业知识和时间，而文本到CAD的转换可以显著简化这一过程。

关键思路是引入了CADFusion框架，该框架结合了两个交替的训练阶段：顺序学习（SL）阶段和视觉反馈（VF）阶段。在SL阶段，LLMs通过使用真实的参数序列进行训练，以生成逻辑连贯的参数序列；在VF阶段，则通过奖励或惩罚机制调整参数序列，以确保它们能够渲染出视觉上更符合预期的对象。这种方法不仅利用了参数序列作为监督信号，还结合了视觉反馈，从而提高了生成CAD模型的质量。

1. CADFusion框架通过交替训练阶段有效地结合了参数序列和视觉反馈，确保了生成的CAD模型既逻辑正确又视觉满意。 2. 实验表明，CADFusion在定性和定量上都显著提升了性能。 3. 论文提出了一个多模态的学习方法，解决了CAD模型生成中的多对一映射问题。 4. 该研究可能会促进更多关于文本到3D模型生成的研究，并可能推动相关技术的实际应用。 5. 尽管论文中没有明确提到，但开源代码和数据集的可用性将是进一步研究和实际应用的关键。

最近在这个领域中，还有一些相关的研究工作值得关注： 1. 'Text2CAD: Generating Parametric CAD Models from Textual Descriptions' - 探讨了如何直接从文本生成CAD模型。 2. 'Neural Radiance Fields for Neural Rendering' - 研究了神经辐射场在3D场景重建中的应用。 3. 'Learning to Generate 3D Shapes with Differentiable Point Clouds' - 提出了通过可微分点云生成3D形状的方法。 4. 'Deep Learning for CAD: A Survey' - 对深度学习在CAD中的应用进行了综述。 5. 'Parametric Design in Generative Modeling' - 探讨了参数化设计在生成模型中的作用。