IReNe: Instant Recoloring in Neural Radiance Fields

近年来，NERF技术的进步使得3D场景重建和新视角合成成为可能。然而，有效地编辑这些表示同时保持照片级真实感是一个新兴的挑战。最近的方法面临三个主要限制：交互使用速度慢，对象边界缺乏精度，难以确保多视角一致性。我们介绍了IReNe来解决这些限制，使得在NeRF中进行快速的几乎实时的颜色编辑成为可能。利用预先训练的NeRF模型和单个训练图像进行用户应用的颜色编辑，IReNe在几秒钟内迅速调整网络参数。这种调整使得模型可以生成新的场景视角，准确地表示训练图像中的颜色变化，同时控制对象边界和视角特定效果。通过将可训练的分割模块集成到模型中，可以实现对象边界的控制。通过仅重新训练最后一个网络层的权重，该过程获得了效率。我们观察到，这一层的神经元可以被分类为负责视角相关外观和贡献漫反射外观的神经元。我们引入了一种自动分类方法来识别这些神经元类型，并仅微调漫反射神经元的权重。这进一步加速了训练，并确保在不同视角下颜色编辑的一致性。在一个包含编辑对象颜色的新数据集上进行的全面验证显示，与竞争对手相比，我们的方法在定量和定性方面都取得了显著的进展，将速度加快了5倍至500倍。

论文提出了IReNe来解决NeRF中的颜色编辑问题，包括交互式编辑速度慢、物体边界精度不高、多视角一致性难以保证等问题。

IReNe利用预训练的NeRF模型和单个训练图像，通过快速调整网络参数实现近实时的颜色编辑。同时，将可训练的分割模块集成到模型中，以控制物体边界，并通过对最后一层网络的权重进行微调实现多视角一致性。

论文在新数据集上进行了全面的验证，展示了IReNe相比竞争对手5倍到500倍的加速效果和显著的定量和定性改进。此外，论文还介绍了自动分类方法以识别网络中的不同神经元类型，并仅微调扩散神经元的权重，从而进一步加速训练并确保跨不同视角的一致颜色编辑。

相关研究包括NeRF及其改进、基于深度学习的3D重建和视图合成方法等。