Blending Distributed NeRFs with Tri-stage Robust Pose Optimization

由于模型容量有限，利用分布式神经辐射场（NeRFs）对广阔的城市环境进行建模已成为必要。然而，当前的分布式NeRF注册方法会遇到混叠伪影问题，这是由于渲染分辨率的差异和亚优化姿态精度导致的。这些因素共同恶化了NeRF框架中姿态估计的保真度，在NeRF混合阶段导致遮挡伪影。本文提出了一个具有三阶段姿态优化的分布式NeRF系统。在第一阶段中，我们采用粗到精的策略，通过对Mip-NeRF 360进行束调整来实现图像的精确姿态。在第二阶段中，我们结合反转Mip-NeRF 360和截断动态低通滤波器，实现了称为Frame2Model优化的鲁棒和精确姿态。在此基础上，我们获得了不同坐标系统中NeRF之间的粗略转换。在第三阶段中，我们通过Model2Model姿态优化微调NeRF之间的转换。在获得精确的转换参数后，我们继续实现NeRF混合，在真实世界和仿真场景中展示了卓越的性能指标。代码和数据将在https://github.com/boilcy/Distributed-NeRF上公开发布。

解决问题：论文旨在解决分布式NeRF模型注册过程中的混叠伪影问题，提高模型精度。

关键思路：论文提出了三阶段姿态优化方法，包括使用Mip-NeRF 360进行姿态优化、使用倒置Mip-NeRF 360和截断动态低通滤波器实现Frame2Model优化、使用Model2Model姿态优化进行NeRF之间的精细转换。这些优化方法提高了NeRF模型的精度。

亮点：论文在真实世界和模拟场景中展示了优越的性能指标，代码和数据集也将公开。值得深入研究的工作包括如何在更广泛的场景中应用该方法以及如何进一步提高NeRF模型的渲染速度。

相关研究：目前在分布式NeRF模型注册方面，已有一些相关研究，如Multi-GPU NeRF和Distributed NeRF，但是这些方法没有解决混叠伪影问题。