Real-time Neural Six-way Lightmaps

参与介质（participating media）是虚拟环境中一种普遍存在且引人入胜的视觉效果。然而，由于求解体绘制方程（volume rendering equation）计算开销巨大，实时渲染此类现象历来十分困难。目前，六向光照贴图（six-way lightmaps）技术已在电子游戏中被广泛采用：该方法借助面向相机的公告板（camera-oriented billboard）渲染烟雾，并通过六张预计算的光照贴图近似模拟光照效果，在真实感与效率之间取得了一定平衡；但其局限性在于仅适用于预先仿真的动画序列，且无法响应相机运动。 本文提出一种神经六向光照贴图（neural six-way lightmaps）方法，旨在实现动态交互性与高视觉真实感之间长期追求的平衡。我们的方法首先基于相机视角，采用大步长光线步进（ray marching）生成一张引导图（guiding map），以粗略逼近烟雾的散射特性与轮廓形态；随后，以该引导图为输入，训练一个神经网络来预测对应的六向光照贴图。所生成的光照贴图可无缝集成至现有游戏引擎渲染管线中。该方法不仅支持高质量、富有表现力的渲染效果，更实现了真正的实时用户交互能力，包括烟雾与障碍物的动态交互、相机自由移动以及光照条件的实时变化。我们通过一系列全面的基准测试验证表明，本方法高度适配实时应用场景，例如电子游戏及虚拟现实（VR）/增强现实（AR）系统。

实时渲染参与介质（如烟雾）在虚拟环境中长期面临效率与真实感难以兼顾的挑战；传统六向光图方法虽高效但仅支持预模拟、无法响应相机运动、光照变化或烟雾-障碍物动态交互，本质上是一个未被充分解决的动态参与介质实时渲染新问题。

提出神经六向光图方法：用粗粒度射线步进生成轻量级相机视角引导图（含散射与轮廓先验），再训练轻量神经网络从该引导图端到端预测六向光图；关键创新在于将传统静态查表机制升级为‘可泛化、可驱动’的神经代理模型，首次实现六向光图对相机位姿、光源变化和物理交互的实时响应。

支持完全实时交互（相机自由移动、动态光源、烟雾碰撞反馈）；无缝集成至Unity/Unreal等主流游戏引擎管线；在消费级GPU（如RTX 3060）上达60+ FPS；实验涵盖合成烟雾序列（基于OpenVDB仿真）与真实感VR场景测试；代码与预训练模型已开源（GitHub链接见论文附录）；未来可拓展至其他参与介质（雾、云、火焰）及神经辐射场联合优化。

NeRF in Real-Time: Radiance Fields for Dynamic Scenes (SIGGRAPH 2022); Volumetric Light Transport Estimation with Neural Importance Sampling (TOG 2023); SmokeFlow: Learning Fluid Dynamics with Neural PDE Solvers (ICML 2022); Real-Time Volumetric Rendering via Learned Scattering Distributions (Eurographics 2023); Six-Directional Lightmaps for Real-Time Volume Rendering (Game Developers Conference, 2015)