DaBiT: Depth and Blur informed Transformer for Joint Refocusing and Super-Resolution

这篇论文介绍了一种针对焦点模糊和视频超分辨率(VSR)联合任务进行优化的框架。在现实世界中的许多场景中，录制的视频会遭受意外的焦点模糊，虽然存在视频去模糊方法，但大多数专门针对运动模糊。该方法采用了新颖的映射引导变换器和图像传播，以有效地利用焦点模糊的连续空间变化并恢复镜头画面。此外，我们还引入了流重新聚焦模块，以有效地对齐模糊和清晰领域之间的相关特征。此外，我们提出了一种新颖的技术，用于生成合成的焦点模糊数据，扩展模型的学习能力，包括更广泛的内容。我们提供了一个新的基准数据集DAVIS-Blur，这个数据集是著名的DAVIS视频分割集的修改扩展版，提供了逼真的失焦模糊退化以及相应的模糊地图。对DAVIS-Blur的全面实验证明了我们方法的优越性。我们实现了最先进的结果，平均PSNR性能比可比现有视频修复方法高出1.9dB。我们的源代码将在https://github.com/crispianm/DaBiT上公开。

论文旨在解决录制视频中的焦距模糊问题，提出了一种针对焦距模糊和视频超分辨率（VSR）联合任务的优化框架。

论文提出了一种新颖的地图引导变换器和图像传播相结合的方法，有效利用焦距模糊的连续空间变化，以恢复录制视频的清晰度，并引入流重新聚焦模块来对齐模糊和清晰域之间的相关特征。

论文提出了一种生成合成焦距模糊数据的新技术，扩大了模型的学习能力，制作了一个新的基准数据集DAVIS-Blur，该数据集提供了逼真的失焦模糊退化以及相应的模糊地图。实验结果表明，该方法优于现有的视频恢复方法，平均PSNR性能比可比较的现有方法高1.9dB。研究者将源代码公开在https://github.com/crispianm/DaBiT

在最近的研究中，还有一些相关的研究，如“Deep Video Deblurring for Hand-held Cameras”和“Learning to Deblur and Super-Resolve from a Single Image”。