Gyro-based Neural Single Image Deblurring

2024年04月01日
  • 简介
    本文提出了一种新颖的单图像去模糊方法GyroDeblurNet,该方法利用陀螺仪传感器有效解决了图像去模糊的不适定性问题。陀螺仪传感器提供了有关曝光时间内相机运动的有价值信息,可以显著提高去模糊的质量。然而,有效利用真实的陀螺仪数据是具有挑战性的,因为存在来自各种来源的显著误差,包括传感器噪声、相机模块和陀螺仪传感器之间的位置差异、缺乏平移运动信息以及陀螺仪无法捕捉到的移动物体的运动。为了处理陀螺仪误差,GyroDeblurNet配备了两个新颖的神经网络模块:陀螺仪细化模块和陀螺仪去模糊模块。陀螺仪细化模块使用输入图像的模糊信息来细化带有误差的陀螺仪数据。另一方面,陀螺仪去模糊模块使用细化后的陀螺仪数据从输入图像中去除模糊,并利用输入图像的模糊信息进一步补偿陀螺仪误差。为了训练具有误差的陀螺仪数据的神经网络,我们提出了一种基于课程学习的训练策略。我们还引入了一种新颖的陀螺仪数据嵌入方案来表示真实世界中复杂的相机抖动。最后,我们提供了一个用于训练和评估基于陀螺仪的单图像去模糊的合成数据集和真实数据集。我们的实验表明,我们的方法通过有效利用具有误差的陀螺仪数据实现了最先进的去模糊质量。
  • 图表
  • 解决问题
    本文旨在提出一种新的单张图像去模糊方法,利用陀螺仪传感器解决图像去模糊中的不适定问题。同时,本文也试图解决陀螺仪误差等问题。
  • 关键思路
    本文提出了GyroDeblurNet,一种利用陀螺仪传感器的神经网络去模糊方法,包含两个神经网络模块:陀螺仪修正块和陀螺仪去模糊块。通过这两个模块,可以有效地利用陀螺仪传感器提供的运动信息来提高去模糊质量。
  • 其它亮点
    本文提出了一种基于陀螺仪传感器的去模糊方法,通过陀螺仪修正块和陀螺仪去模糊块来处理陀螺仪误差。同时,本文还提出了一种基于课程学习的神经网络训练策略和一种新的陀螺仪数据嵌入方案。实验结果表明,本文方法在去模糊质量上达到了最先进水平。
  • 相关研究
    最近的相关研究包括基于深度学习的图像去模糊方法,如DeepDeblur和DeblurGAN等。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论