Sharp-NeRF: Grid-based Fast Deblurring Neural Radiance Fields Using Sharpness Prior

Byeonghyeon Lee ,
Howoong Lee ,
Usman Ali ,
Eunbyung Park
2024年01月01日
  • 简介
    Neural Radiance Fields(NeRF)在基于神经渲染的新视角合成方面表现出了卓越的性能。然而,当输入图像在捕获时存在不完美的条件,如光照不足、焦点模糊和镜头畸变时,NeRF会遭受严重的视觉质量下降。尤其是焦点模糊在使用相机正常捕获图像时非常普遍。虽然最近有几项研究提出了渲染相当高质量的清晰图像的方法,但它们仍面临许多关键挑战。特别是,这些方法使用了基于多层感知器(MLP)的NeRF,需要巨大的计算时间。为了克服这些缺点,本文提出了一种新的技术Sharp-NeRF——一种基于网格的NeRF,可以在半小时内从输入的模糊图像中渲染出干净、清晰的图像。为此,我们使用了几个基于网格的核来精确地模拟场景的清晰度/模糊度。像素的清晰度水平被计算出来,以学习空间变化的模糊核。我们在由模糊图像组成的基准测试上进行了实验,并评估了全参考和非参考指标。定性和定量结果表明,我们的方法可以呈现出鲜艳的颜色和精细的细节,训练时间比之前的方法要快得多。我们的项目页面可在https://benhenryl.github.io/SharpNeRF/上找到。
  • 图表
  • 解决问题
    解决问题:本文旨在解决NeRF在处理模糊图像时出现的视觉质量下降问题,提出了一个能够在半小时内训练出干净锐利图像的基于网格的NeRF。
  • 关键思路
    关键思路:本文提出了Sharp-NeRF,通过使用多个基于网格的卷积核来准确建模场景的锐度/模糊度,计算像素的锐度级别以学习空间变化的模糊核。相比于之前的方法,Sharp-NeRF具有更快的训练速度和更高的图像质量。
  • 其它亮点
    其他亮点:本文使用模糊图像数据集进行了实验,并评估了全参考和非参考指标。结果表明,Sharp-NeRF能够渲染出锐利的新视角,具有鲜艳的颜色和细节,并且训练速度显著快于之前的方法。此外,本文提供了项目页面和代码。
  • 相关研究
    相关研究:最近的相关研究包括NeRF的改进,例如使用MLP的NeRF和其他基于网格的方法。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论