基于图像的3D场景建模与渲染是计算机视觉和计算机图形学中一个被广泛研究的课题。传统的方法依赖基于网格的场景表征，通过可微分光栅化程序或路径追踪的方法根据真实图像以优化网格表征。然而，基于二维图像监督的网格优化往往易于陷入局部最优，并且在优化过程中无法改变网格的拓扑结构。

神经辐射场 (NeRF) [1]是目前解决这一问题的一个有力工具，它使用全连接网络（MLP）隐式建模场景的几何和外观，并结合体渲染 (volume rendering)的方法得到高真实感的渲染图。然而，作为一种隐式建模方法，神经辐射场网络很难让用户交互式地编辑或修改场景对象。因此，基于神经辐射场等隐式表示的新视角合成能力，进一步研究如何编辑隐式表征已成为一个新的探索方向。对NeRF进行几何编辑是一种有效的几何建模方法。

针对这些问题，来自中科院计算所和阿里巴巴淘系技术部的研究人员提出了一种允许用户自由编辑神经辐射场几何内容的方法，将以论文《NeRF-Editing: Geometry Editing of Neural Radiance Fields》发表于领域内顶级会议IEEE CVPR 2022。

图1: 神经辐射场几何编辑结果示意图

 

技术路线

该研究旨在提出一种使用户能够自定义变形约束，并利用施加的变形约束编辑神经辐射场以生成变形后场景图像的方法。算法框架如图2所示。该研究首先从训练好的神经辐射场表示中提取显式的三角网格表示。用户在显式三角网格表示上指定控制点，并通过拖动控制点进行直观的变形编辑。根据变形前后的网格，该研究提出一种将离散的网格顶点变形传播到整个连续空间的方法。通过弯曲体渲染过程中行进的光线，神经辐射场可以渲染出满足用户编辑预期的结果。

图2: 神经辐射场变形方法示意图

 

该研究的核心在于将离散的网格顶点变形传播到整个连续空间。为实现这一过程，研究者提出以空间四面体作为代理，通过最小化ARAP(as-rigid-as-possible)[2]变形能量项来求解空间四面体的变形，进而插值出空间中任意点的变形位移值，对光线实现弯曲，如图3所示。具体而言，首先用户需要拍摄物体对象的多视角图片，并利用神经辐射场网络重建该物体。在得到场景的显式表征之后，用户可使用已有的网格编辑方法对提取的显式表征进行变形编辑。为了将网格顶点的偏移传播到整个空间，研究者构建了一个包裹三角形网格的四面体网格，通过优化变形前后的三角形网格重心坐标以及四面体网格的局部刚性来求解变形前后四面体网格顶点的偏移。记变形前后的三角形网格顶点为，变形前后的四面体网格顶点为，变形后的四面体可通过优化以下能量式求解

其中，表示约束四面体局部刚性的ARAP能量。更多细节请参考论文。

图3: 离散的网格顶点变形到连续空间的传播

 

结果展示

图4展示了在合成场景上的编辑结果。其中第一组结果（前两行）是一个乐高推土机模型。用户可以编辑推土机使其放下铲子，实现了复杂合成数据的编辑。第二组结果（后两行）是一个椅子模型。用户可以拉伸椅子的背部和腿部，实现物体的局部组成部件编辑。

图4: 合成数据上编辑结果

 

图5展示了真实场景上的编辑结果。用户可以编辑长颈鹿使其具有不同姿态，或者缩放局部区域。

图5: 真实数据上编辑结果