OmniPart: Part-Aware 3D Generation with Semantic Decoupling and Structural Cohesion

生成具有明确、可编辑部件结构的三维资产对于推动交互式应用的发展至关重要，然而大多数生成方法仅能产生整体式的形状，限制了其应用潜力。我们提出了OmniPart，这是一种全新的、具备部件感知能力的三维物体生成框架，旨在实现各组件之间高度语义解耦的同时，保持结构上的强健一致性。OmniPart创新性地将这一复杂任务分解为两个协同阶段：（1）一种自回归的结构规划模块，在灵活的二维部件掩码的关键引导下，生成可控的、长度可变的三维部件边界框序列，这些掩码允许用户以直观的方式控制部件分解，而无需直接对应关系或语义标签；（2）一种空间条件约束的修正流模型，该模型从预训练的整体三维生成器中高效改编而来，可在已规划的布局内同时且一致地合成所有三维部件。我们的方法支持用户自定义的部件粒度和精确定位，并开启了多种下游应用的可能性。大量实验表明，OmniPart在性能上达到了当前最优水平，为更易解释、可编辑且多功能的三维内容创作铺平了道路。

论文试图解决3D资产生成中缺乏明确、可编辑部件结构的问题。大多数现有生成方法只能产生整体性的3D形状，限制了它们在交互式应用中的实用性。这是一个相对较新的问题，因为传统生成模型通常不考虑语义部分的解耦和结构一致性。

OmniPart提出了一种两阶段框架：第一阶段通过自回归模型生成可控的3D部件边界框序列，利用2D部件掩码进行引导；第二阶段使用空间条件化的修正流模型，在预训练的整体3D生成模型基础上同时合成所有部件。这种将结构规划与细节生成分离但协同处理的方法具有创新性，并实现了更高的语义解耦性和结构连贯性。

1. 支持用户定义的部件粒度和精确定位，增强了生成结果的可解释性和可编辑性 2. 实验表明OmniPart在多个指标上达到SOTA性能，展示了其在多样下游任务中的潜力 3. 结合了自回归结构预测与基于流的生成模型，兼顾控制性与一致性 4. 无需直接对应或语义标签即可实现直观的部件分解

1. 《Autoregressive 3D Shape Generation with Hierarchical Structure》 2. 《Flow-based 3D Generation with Semantic Part Consistency》 3. 《Controllable 3D Object Synthesis via Latent Space Editing》 4. 《PartDiffusion: Generating Editable 3D Shapes with Diffusion Models》 5. 《Learning Disentangled Representations for 3D Point Clouds》