报告主题:CVPR2026最佳学生论文|高质量3D原生紧凑结构化表示
报告日期:7月15日(周三) 10:30-11:303D 生成模型的真实感受限于底层数据表示,现有方法难以兼顾复杂拓扑与高精度材质属性。智源 Talk 364期邀请了清华大学向剑锋线上分享,工作来自CVPR 2026 Best Student Paper Award论文。提出了 O-Voxel 全能体素表示与稀疏压缩 VAE,构建紧凑的结构化潜在空间,在此基础上训练的 40 亿参数流匹配 Transformer 在几何精度与 PBR 材质质量上全面超越现有模型,为突破工业级 3D 内容生成瓶颈提供了关键路径。欢迎大家一起讨论交流。议题详情:
近年来,3D生成模型在真实感与生成速度上取得了显著进展,但其进一步发展正面临着底层数据表示的瓶颈。现有的3D资产表示方法(如点云、多边形网格或隐式场等)往往难以完美兼顾复杂的几何拓扑结构与精细的外观细节。它们要么在处理开放曲面、非流形等复杂拓扑时显得力不从心,要么无法有效承载基于物理渲染(PBR)的丰富材质属性;同时,这些传统表示往往过于不规则,难以直接压缩为适合大规模生成模型高效学习的潜在特征空间。这种表示层面的局限性,导致现有模型生成的3D内容在结构精度和材质保真度上始终难以满足高质量工业级应用的需求。TRELLIS.2针对这一核心痛点,提出直接从原生3D数据中学习"结构化潜在表示"的全新生成范式。具体而言,该工作首先引入了O-Voxel(全能体素)表示法,这是一种能够同时编码几何形状与外观的稀疏体素结构。它不仅能极具鲁棒性地兼容任意拓扑结构(包括开放、非流形和全封闭曲面),还能全面捕捉PBR材质、甚至是透明度等复杂的物理表面属性。在此基础上,研究团队设计了稀疏压缩VAE(变分自编码器),实现了极高的空间压缩率(16倍下采样),构建出一个紧凑且富有表现力的潜在特征空间。依托于这一原生且紧凑的表示,团队进一步训练了一个高达40亿参数(4B)的流匹配Transformer模型专门用于图像到3D的生成。该工作展示了一条突破3D生成天花板的关键路径:通过重构更契合3D本质的底层表示机制,即使在庞大的参数规模下,模型依然能保持高效的推理速度,并在几何精度与高分辨率PBR材质质量上实现了对现有生成模型的全面超越。报告嘉宾:
向剑锋,清华大学高等研究院计算机科学博士研究生,师从郭百宁教授;自2021年7月起在微软亚洲研究院开展研究实习。本科毕业于中国科学技术大学电子信息工程专业。其研究聚焦空间智能、三维生成与理解,在CVPR、ICCV、ECCV、NeurIPS、SIGGRAPH Asia等会议发表多篇论文。代表工作包括 TRELLIS系列,TRELLIS入选CVPR 2025 Highlight,后续工作TRELLIS.2获CVPR 2026 Best Student Paper Award。个人主页:https://jeffreyxiang.github.io/。
更多热门活动:
内容中包含的图片若涉及版权问题,请及时与我们联系删除
评论
沙发等你来抢