NeAI: A Pre-convoluted Representation for Plug-and-Play Neural Ambient Illumination

解决问题：该论文旨在解决使用简化光照模型或不可靠的间接光建模方法所导致的光照和材质分离问题，提出了一种名为NeAI的全可微分框架，使用NeRF作为光照模型，以物理基础的方式处理复杂光照。

关键思路：NeAI框架使用NeRF作为光照模型，通过积分法编码粗糙度自适应的镜面反射光和利用预卷积的背景进行精确分解，将物理基础渲染与NeRF表示相结合，从而解决了光照和材质分离问题。相比当前领域的研究，该论文的关键思路在于提出了一种全可微分的框架，并使用NeRF作为光照模型进行物理基础渲染。

其他亮点：该论文的实验表明，与之前的研究相比，新视角渲染的性能更优，而在任意NeRF-style环境下重新渲染对象的能力则为弥合虚拟和现实场景之间的差距开辟了新的可能性。该论文的项目和补充材料可在https://yiyuzhuang.github.io/NeAI/上获得。

关于作者：主要作者Yiyu Zhuang、Qi Zhang、Xuan Wang、Hao Zhu、Ying Feng、Xiaoyu Li、Ying Shan和Xun Cao来自中国的不同机构，如清华大学、中山大学、香港中文大学等。

他们的代表作包括“DeepVoxels: Learning Persistent 3D Feature Embeddings”、“Deep Reflectance Fields: High-Quality Facial Reflectance Field Inference from Color Gradient Illumination”等。

相关研究：近期其他相关的研究包括“NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections”（Vincent Sitzmann等，斯坦福大学）、“Neural Scene Graphs for Dynamic Scenes”（Yujia Zhang等，MIT）等。

论文摘要：该论文介绍了一个名为NeAI的全可微分框架，使用神经辐射场（NeRF）作为照明模型，以物理为基础的方式处理复杂照明。NeAI使用积分法来编码表面的粗糙度自适应镜面反射，利用预卷积背景进行精确分解，从而解决了简化照明模型和基于网络拟合间接光照模型的问题。该方法在将基于物理的渲染集成到NeRF表示中方面迈出了重要一步。实验表明，与以前的工作相比，该方法在新视角渲染方面具有卓越的性能，而在任意NeRF风格环境下重新渲染物体的能力则为弥合虚拟和现实世界场景之间的差距开辟了令人兴奋的可能性。

该项目和补充材料可在https://yiyuzhuang.github.io/NeAI/上获得。

内容中包含的图片若涉及版权问题，请及时与我们联系删除