MUJICA: Reforming SISR Models for PBR Material Super-Resolution via Cross-Map Attention

基于物理的渲染（PBR）材质通常由多个二维纹理图表示，例如基础颜色图、法线图、金属度图和粗糙度图，这些图编码了空间变化的双向反射分布函数（SVBRDF）参数，用于建模表面反射特性和微表面相互作用。对SVBRDF材质进行超分辨率放大在现代三维图形应用中具有重要价值。然而，现有的单图像超分辨率（SISR）方法在处理这一任务时面临跨图不一致、模态特有特征建模不足以及因数据分布变化导致的泛化能力有限等问题。为此，我们提出了基于跨图注意力的多模态联合超分辨率推理方法（MUJICA），这是一种灵活的适配器，可将已预训练的基于Swin Transformer的SISR模型改造用于PBR材质的超分辨率任务。MUJICA可无缝接在已预训练并冻结的SISR主干网络之后，通过引入跨图注意力机制来融合不同纹理图之间的特征，同时保留了原始SISR模型出色的重建能力。将MUJICA应用于SwinIR、DRCT和HMANet等SISR模型时，不仅提升了PSNR、SSIM和LPIPS等评价指标，还保持了各纹理图之间的内容一致性。实验表明，MUJICA即使在资源有限的情况下也能实现高效的训练，并在PBR材质数据集上达到了当前最先进的性能。

论文旨在解决物理基础渲染（PBR）材料纹理映射在单图像超分辨率（SISR）中的挑战，包括跨图不一致、模态特征建模不足以及数据分布变化导致的泛化能力有限问题。这是一个在3D图形应用中具有实际意义的新问题。

论文提出MUJICA方法，通过跨图注意力机制对预训练的Swin-transformer-based SISR模型进行多模态联合推理，以提升PBR材料的超分辨率性能。其核心创新在于设计了一个灵活的适配器模块，在保持原有模型重建能力的同时实现多纹理图的一致性增强。

1. MUJICA能够适配多个SISR模型（如SwinIR、DRCT、HMANet），具有良好的通用性 2. 在PSNR、SSIM和LPIPS等指标上取得提升，同时保持跨图一致性 3. 实验验证了方法在有限资源下的高效训练能力 4. 在PBR材料数据集上实现了SOTA性能

1. SwinIR: Image Restoration Using the Swin Transformer 2. Deep Realistic Image Super-resolution with Contextualized Attention and Texture Synthesis 3. HMANet: Hierarchical Multi-scale Attention Network for Image Super-Resolution 4. Cross-domain Adaptation for Image Super-Resolution via Domain-aware Feature Disentanglement 5. Multi-modal Image Super-Resolution via Joint Optimization of RGB and Thermal Data