Adaptive Shells for Efficient Neural Radiance Field Rendering

神经辐射场在新视角合成方面取得了前所未有的质量，但其体积形式仍然很昂贵，需要大量样本来渲染高分辨率图像。体积编码对于表示模糊几何体（如树叶和头发）至关重要，并且它们非常适合随机优化。然而，许多场景最终主要由实体表面组成，可以通过每个像素的单个样本精确渲染。基于这一洞见，我们提出了一种神经辐射场公式，可以平滑地过渡到基于体积和表面的渲染，大大加快了渲染速度，甚至提高了视觉保真度。我们的方法构建了一个明确的网格包络，空间限制神经体积表示。在实体区域中，包络几乎会收敛到表面，并且通常可以用单个样本渲染。为此，我们使用学习的空间可变核大小推广了NeuS公式，该核大小编码密度的扩散，将宽核适配到类似体积的区域，将紧核适配到类似表面的区域。然后，我们提取一个狭窄带周围的明确网格，其宽度由核大小确定，并在此带内微调辐射场。在推理时间，我们针对网格投射光线，并仅在封闭区域内评估辐射场，从而大大减少了所需的样本数量。实验表明，我们的方法可以在非常高的保真度下实现高效渲染。我们还证明，提取的包络使得下游应用（如动画和模拟）成为可能。

本论文旨在解决神经辐射场的体积形式化表达计算量巨大的问题，并通过构建明确的网格包络来实现体积渲染和表面渲染的平滑过渡，从而加速渲染速度并提高视觉保真度。

论文的关键思路是通过构建明确的网格包络来实现体积渲染和表面渲染的平滑过渡，从而加速渲染速度并提高视觉保真度。

论文通过将学习到的空间可变核大小与密度的扩散程度相结合，将宽核拟合于类似于体积的区域，将紧核拟合于类似于表面的区域，并在表面周围提取一个明确的网格，通过对该区域内的辐射场进行微调，实现了高保真度的渲染。论文的实验结果表明，该方法能够以高保真度实现高效渲染，并且提取的包络能够实现动画和仿真等下游应用。

在这个领域中，最近的相关研究包括《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》和《GRAF: Generative Radiance Fields for 3D-Aware Image Synthesis》等。