Video Frame Interpolation for Polarization via Swin-Transformer

视频帧插值（VFI）已经得到了广泛的研究和应用，但其在极化方面的应用仍然较少。由于极化滤光片选择性地传输光线，通常需要较长的曝光时间以确保足够的光强度，这会降低时间采样率。此外，由于物体反射的极化随着拍摄角度的变化而变化，仅关注像素位移的估计是不足以准确重建中间极化的。为了解决这些挑战，本研究提出了一种基于Swin-Transformer的多阶段、多尺度网络Swin-VFI，并引入了一个定制的损失函数来促进网络对极化变化的理解。为了确保我们提出的方法的实用性，本研究在极化形状（SfP）和人体形状重建任务中评估了其插值帧，并将其与其他最先进的方法（如CAIN、FLAVR和VFIT）进行了比较。实验结果表明，我们的方法在所有任务中都具有更高的重建精度。

本文旨在探索极化图像的插值方法，以解决由于极化滤镜的选择性透射而导致的时间采样率降低的问题，同时考虑拍摄角度变化对极化图像的影响。

本文提出了一种基于Swin-Transformer的多阶段、多尺度网络Swim-VFI，并引入定制的损失函数来促进网络对极化变化的理解，以提高插值效果。

本文的实验结果表明，在Shape from Polarization (SfP)和Human Shape Reconstruction任务中，Swim-VFI方法相比于其他最先进的方法（如CAIN，FLAVR和VFIT）具有更高的重建精度。此外，本文还使用了多个数据集进行实验，并提供了开源代码。

最近在此领域中的相关研究包括：1）Polarization-Based Material Recognition Using Convolutional Neural Networks；2）Polarization Imaging-based Skin Lesion Segmentation；3）Deep Learning for Polarization Imaging via Total Generalized Variation Regularization。