MaRINeR: Enhancing Novel Views by Matching Rendered Images with Nearby References

将3D重建结果渲染为逼真的图像是许多计算机视觉和机器人技术流程的重要任务，尤其是混合现实应用和在模拟环境中训练自主代理的任务。然而，新视角的质量严重依赖于源重建结果，而由于几何和外观上的噪声或缺失，源重建结果通常是不完美的。受到基于参考的超分辨率网络的最近成功启发，我们提出了MaRINeR，一种改进方法，利用附近的映射图像信息来改善目标视角的渲染。我们首先通过深度特征建立目标视角场景几何的原始渲染图像与附近参考图像之间的匹配，然后进行分层细节传输。我们展示了从显式和隐式场景表示中的定量指标和定性示例中改进的渲染结果。我们进一步将我们的方法应用于伪地面真值验证、合成数据增强和减少3D重建渲染的细节恢复等下游任务中。

MaRINeR论文旨在解决从3D重建中渲染逼真图像的问题，尤其是在存在噪声或缺失几何和外观信息的情况下。同时，该论文还探讨了将该方法应用于伪地面真实性验证、合成数据增强和渲染减少的3D重建的细节恢复等下游任务。

MaRINeR方法利用附近的参考图像的信息来改善目标视角的渲染效果，通过基于深度特征的匹配和分层细节传输来实现。相比于当前领域的研究，该方法的关键思路在于引入了参考图像的信息进行细节传输。

该论文的实验结果表明，MaRINeR方法在数量和质量上都有所提高，且适用于明确和隐式场景表示。此外，该论文还提供了合成数据集和开源代码，以便于后续研究。值得进一步研究的工作包括如何利用该方法进行更广泛的应用和如何进一步提高渲染的质量。

最近的相关研究包括基于超分辨率网络的参考图像方法以及基于深度学习的3D重建方法。其中一些论文包括：《Reference-Based Super-Resolution Network for 3D Reconstruction from Single Image》和《Deep Learning for Single-View Instance Recognition》。