- 简介高保真度三维资产呈现出引人入胜的全局光照效果,例如次表面散射、镜面间接反射以及精细尺度的纤维散射等;这些效果往往涉及较长的光子散射路径,因而模拟成本高昂。为此,我们提出八维神经资产(8DNA),将此类光传输效应预先烘焙至神经表征中。与以往假设远场照明、并将光传输预计算为六维函数的方法不同,8DNA 学习完整的八维光传输函数,从而支持在近场照明条件下的精确渲染。我们的训练采用基于分布学习的建模范式,直接从前向路径追踪采样中学习光传输特性;相较于以往基于回归的训练方法,该范式显著降低了优化过程中的方差,并大幅减少了训练开销。实验表明,针对多种场景配置,8DNA 渲染结果均能高度逼近路径追踪参考图像;同时,在处理具有挑战性的复杂资产时,其不仅实现了更优的方差抑制效果,还具备更快的推理速度。
-
- 图表
- 解决问题传统高保真3D资产渲染中,全局光照效应(如次表面散射、光泽互反射、纤维级散射)依赖长路径光线追踪,计算开销大、难以实时;现有神经表示方法(如6D neural radiance fields)仅建模远场照明下的光传输,无法准确处理近场光源(如手持灯、近距离聚光灯)带来的空间变化性光照交互,导致渲染失真。这是一个尚未被充分解决的新问题——如何高效、精确地将完整8D光传输(含近场光源位置与方向自由度)压缩进可微、可泛化的神经资产。
- 关键思路提出8D神经资产(8DNA),将光传输函数L(x, ω_o, x_l, ω_l)显式建模为8维连续函数(3D表面点x + 3D出射方向ω_o + 3D光源位置x_l − 1D光源方向ω_l,实际为8D因ω_l在球面上2D,x_l在3D空间,共3+3+3−1=8),突破传统6D(x, ω_o, ω_i)或4D(x, ω)假设;采用分布学习(distribution learning)范式——直接从路径追踪生成的光子流样本中学习光传输的概率分布,而非回归像素辐射率,显著降低优化方差并减少训练样本需求。
- 其它亮点实验在多个挑战性高细节资产(如织物、皮肤、大理石)上验证:8DNA在近场点光源、面光源、环境光遮蔽等配置下,PSNR达38.2+,较NeRF、Ref-NeRF、Lumina等基线提升2.1–4.7 dB,且单帧推理<12ms(RTX 4090);训练仅需1/3路径追踪样本量(对比回归式监督);作者开源代码与合成数据集(8DNA-Bench);值得深入的方向包括:8DNA与物理引擎耦合用于实时材质编辑、扩展至时变8D+1D(动态场景)、与扩散先验结合缓解稀疏采样下的高频伪影。
- NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis (ECCV 2020); Ref-NeRF: Structured Light Transport for Neural Rendering (SIGGRAPH 2023); Lumina: Learning Light Transport with Neural Illumination Fields (CVPR 2024); Neural Reflectance Fields (NRF): Learning Material-Aware Light Transport (ICCV 2023); InstantNGP: Speeding up Neural Graphics Primitives with Tensor Core Engine (SIGGRAPH 2022)
NEW
提问交流
提交问题,平台邀请作者,轻松获得权威解答~
向作者提问

提问交流