智源TALK | 3D生成迎来质效双飞跃：Ultra3D框架实现最高6.7倍加速，保留精细结构

本报告聚焦最新在3D生成上的突破。近来，稀疏体素表示在提升3D内容生成质量方面取得了显著进展，使得具有精细几何结构的高分辨率建模成为可能。然而，现有框架由于其两阶段扩散流程中注意力机制的二次复杂度，存在严重的计算效率问题。在本工作中，我们提出了 Ultra3D，一个高效的3D生成框架，在不降低质量的前提下显著加速了稀疏体素建模。Ultra3D在第一阶段利用紧凑的 VecSet 表示高效地生成粗略的物体结构，减少了 token 数量并加速了体素坐标预测。为在第二阶段生成每个体素的特征token，我们引入了 Part Attention，这是一种基于part信息的局部注意力机制，仅在语义一致的同part group内进行注意力计算。该设计在避免不必要的全局注意力的同时保持了结构连续性，实现了最高 6.7 倍的加速。