PIXLRelight: Controllable Relighting via Intrinsic Conditioning

我们提出了 PIXLRelight——一种面向物理可控性的单图像重打光前馈式方法。现有方法或仅提供有限的光照控制能力（例如仅通过文本提示或环境贴图实现），或在逆向渲染与正向渲染串联过程中不断累积误差，抑或需针对每张图像进行计算开销高昂的逐例优化。我们的核心思想是：借助一种共享的、基于内在属性的条件表示，在基于物理的渲染（PBR）与学习型图像合成之间构建桥梁；该条件表示既可从真实照片中提取，也可由 PBR 渲染结果获得。在训练阶段，我们对成对的多光照条件实拍图像进行分解，得到反照率（albedo）、漫反射阴影（diffuse shading）以及非漫反射残差（non-diffuse residuals），并以此作为模型的条件输入。在推理阶段，则通过对输入图像进行粗略三维重建，并在用户指定的 PBR 光源下对该重建体进行路径追踪（path tracing）渲染，从而计算出相同的条件表示。随后，一个基于 Transformer 的神经渲染器将目标光照效果应用到源图像上，并通过逐像素仿射调制（per-pixel affine modulation）精准保留图像的精细纹理细节。PIXLRelight 支持任意符合 PBR 规范的光照控制，重打光质量达到当前最优水平，且单张图像处理耗时低于 0.1 秒。代码与预训练模型已开源，详见：https://mlfarinha.github.io/pixl-relight/。

单张图像的物理可控重光照（relighting）问题：现有方法要么控制粒度粗（如文本或HDR环境图驱动）、要么依赖误差累积的逆向渲染+正向渲染流水线、要么需昂贵的逐图优化，难以兼顾物理真实性、细粒度PBR级光照控制与实时性。

提出共享内在表征（intrinsic conditioning）——统一使用albedo、diffuse shading和non-diffuse residuals作为物理与学习的桥梁：训练时从多光照实拍图像中分解该表征；推理时用粗略3D重建+路径追踪在用户指定PBR光源下生成相同表征，避免逆渲染误差；再通过Transformer神经渲染器结合像素级仿射调制实现高效、细节保留的重光照合成。

首次实现端到端、前馈式、任意PBR光源（含方向光/点光/面光/IES配置）的单图重光照；在真实多光照数据集（如DPR, Laval Indoor）上达到SOTA质量；推理速度<100ms/图；开源代码与预训练模型；实验设计包含消融研究、用户研究及与NeRF/InverseRender基线的对比；值得深入的方向包括：更鲁棒的粗3D重建集成、动态材质建模、视频时序一致性扩展。

NeRF-based Relighting (ECCV 2022); DeepRelight (CVPR 2021); InverseRenderNet (ICCV 2019); Single-Image Relighting with Physics-Guided CNNs (TPAMI 2023); Relighting via Latent Diffusion (SIGGRAPH Asia 2023)