论文地址：https://arxiv.org/pdf/2203.01935.pdf

开源地址：https://github.com/chensong1995/E-CIR

摘要

当我们按下快门按钮的那一刻，相机开始感知光。在曝光间隔内，场景和相机之间的相对运动会导致运动模糊，这是一种常见的视觉伪像。本文介绍了ECIR，它将模糊的图像转换为锐利的视频，该视频随时间到强度为参数函数。 ECIR将事件作为辅助输入。我们讨论如何利用时间事件结构来构建参数碱基。我们演示了如何训练深度学习模型以预测功能系数。为了提高外观一致性，我们进一步介绍了一个细化模块，以在连续帧之间传播视觉特征。与最先进的事件增强的脱张方法相比，E-CIR产生更平稳，更现实的结果。

主要贡献

总而言之，我们的主要贡献是：

  • 我们代表每个像素参数多项式的视频。我们讨论了为什么通过显示函数衍生物和事件之间的并行性来轻松地与事件机制集成。
  • 从模糊图像及其相关事件中的曝光间隔中，我们演示了如何使用深度学习模型来预测所提出的参数多项式表示的尖锐视频。
  • 为了克服多项式表示的局限性，我们讨论了如何制定完化目标并鼓励尖锐视觉特征的时间传播。
  • 我们提供源代码和文档，以将原始REDS数据集转换为事件格式。这清除了以前的作品中评估数据集的模糊性，并为将来的比较建立了开放源基准。

实验

为了进行定量评估，我们使用Wang等人发布的官方权重将模型与ESL-NET [40]进行比较。并在我们的合成数据上重新训练了权重。我们将EDI [26]作为附加基线模型。在提交时间，它们是仅有的两种具有开源实现的方法。

对于定性评估，我们还可以看到Pan等人提供的真实事件捕获的结果。 [26]。真实捕获的模糊来自物理传感器，而不是模拟的时间平均。因此，缺乏“地面真实”的尖锐图像，我们无法数值评估每种算法的性能。

衍生物（LD），原始（LP），细化（LREF）和残留（LRES）损失的权衡参数分别为1、10、10和0.5。我们使用Adam [12]优化器，批次大小为96，并以50个时期的方式训练网络。初始学习率为0.0001，在20日和40个时期结束时减半。我们使用的多项式函数的程度为n = 10。

内容中包含的图片若涉及版权问题，请及时与我们联系删除