作者单位：快手、大连理工、港理工、北大、鹏城实验室

论文：https://arxiv.org/pdf/2204.07114.pdf

▊ 看点

大多数VSR都采用光流或可变形卷积进行运动补偿。然而，这种时间建模技术增加了模型的复杂性，并且在遮挡或复杂运动的情况下可能会失败。本文旨在探索显式时间差分建模在LR和HR空间中的作用，通过计算帧之间的时间差异，并根据差异程度将这些像素划分为两个子集，而不是直接将连续帧作为输入。

这两个子集分别由不同感受野的两个分支处理，以便更好地提取补充信息。此外，为了提高重建效果，不仅提取了空间残差特征，还计算了高频域中连续帧之间的差异。它允许模型利用未来和过去的中间SR结果来优化当前SR输出。不同时间步的差异被存储，以便将来自更远时间的信息传播到当前帧进行细化。

▊ 方法

Overview

显式时间差分建模（ETDM）以单向循环的方式进行。对于每一个时间步，ETDM获取参考帧、相邻帧和之前估计的SR结果作为输入，框架如下图所示：

在LR空间中，提出的区域分解模块计算参考帧和相邻帧之间的差异。此外，它根据差异程度将相邻帧分解为低方差（LV）和高方差（HV）区域。然后，它们分别由两个具有不同感受野的CNN分支处理，以便更好地提取补充信息。

该模型预测HR空间中相邻时间步的SR输出之间的时间差异，这使得当前步骤的超分辨率能够受益于过去和未来时间步的初始SR结果。此外，通过缓存两个指定时间步之间的所有时间差，可以自然地将前向和后向传播从一个时间步扩展到任意时间顺序。